Бакалавриат 2025/2026

Современный NLP и большие языковые модели

Статус: Курс по выбору (Прикладная математика и информатика)

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 4-й курс, 3 модуль

Охват аудитории: для своего кампуса

Преподаватели: Андреева Дарья Александровна

Язык: русский

Кредиты: 4

Контактные часы: 40

Программа дисциплины

Аннотация

Курс раскрывает устройство языковых моделей: обзор и сравнение больших языковых моделей и подходов к их обучению, принципы функционирования современных языковых моделей, обучения моделей из семейств BERT и GPT, а также оптимизации обучения и инференса моделей с помощью современных подходов. В результате слушатели курса смогут опробовать все вышеперечисленные техники на практике и разработать персонального LLM-ассистента на личном устройстве. На рубежных контролях студенты закрепят знания по изученным темам с теоретической и практической стороны.

Цель освоения дисциплины

• Освоение студентами знаний в области NLP и LLM, понимание этапов развития отрасли и получение навыка обучения и дообучения LLM, оптимизации и инференса, а также методов обработки естественного языка. В результате после завершения обучения на курсе студенты приобретают навык осмысленного применения полученных знаний при изучении других дисциплин и в рамках создания персонального LLM-ассистента на персональном устройстве.

Планируемые результаты обучения

• Cпособен применять на практике современные методы и алгоритмы обучения больших языковых моделей, а также решать задачи оптимизации и инференса моделей с помощью современных подходов.
• Знает об основных алгоритмах и подходах к обучению больших языковых моделей.
• Может выбрать подходящий алгоритм для решения заданной задачи.

Содержание учебной дисциплины

• Развитие моделей
• Эмбеддеры и энкодеры
• RAG
• Мультимодальные модели и MultimodalRAG
• Агенты

Элементы контроля

• Проект
• Домашняя работа
  Домашние задания выполняются в командах по 2-4 человека. Общая идея домашних заданий: в рамках четырёх домашних заданий вам предлагается собрать LLM-based проект (будь то RAG, агент, etc) и защитить его в конце курса для получения итоговой оценки.

Промежуточная аттестация

• 2025/2026 3rd module
  Итог = SUM(О_ДЗ_i) *0.125 + О_проект * 0.5 ДЗ — оценка за домашнее задание Проект — оценка за проект

Список литературы

Рекомендуемая основная литература

• Uday Kamath, John Liu, & James Whitaker. (2019). Deep Learning for NLP and Speech Recognition. Springer.

Рекомендуемая дополнительная литература

• 9781838827724 - Antonio Gulli; Amita Kapoor; Sujit Pal - Deep Learning with TensorFlow 2 and Keras : Regression, ConvNets, GANs, RNNs, NLP, and More with TensorFlow 2 and the Keras API, 2nd Edition - 2019 - Packt Publishing - http://search.ebscohost.com/login.aspx?direct=true&db=nlebk&AN=2339879 - nlebk - 2339879

Авторы

• Кононова Елизавета Дмитриевна