Бакалавриат 2024/2025

Современный NLP и большие языковые модели

Статус: Курс по выбору (Прикладная математика и информатика)

Кто читает: Департамент больших данных и информационного поиска

Когда читается: 4-й курс, 3 модуль

Охват аудитории: для своего кампуса

Преподаватели: Спирин Егор Сергеевич

Язык: русский

Программа дисциплины

Аннотация

Курс раскрывает устройство языковых моделей: обзор и сравнение больших языковых моделей и подходов к их обучению, принципы функционирования современных языковых моделей, обучения моделей из семейств BERT и GPT, а также оптимизации обучения и инференса моделей с помощью современных подходов. В результате слушатели курса смогут опробовать все вышеперечисленные техники на практике и разработать персонального LLM-ассистента на личном устройстве. На рубежных контролях студенты закрепят знания по изученным темам с теоретической и практической стороны.

Цель освоения дисциплины

• Освоение студентами знаний в области NLP и LLM, понимание этапов развития отрасли и получение навыка обучения и дообучения LLM, оптимизации и инференса, а также методов обработки естественного языка. В результате после завершения обучения на курсе студенты приобретают навык осмысленного применения полученных знаний при изучении других дисциплин и в рамках создания персонального LLM-ассистента на персональном устройстве.

Планируемые результаты обучения

• Cпособен применять на практике современные методы и алгоритмы обучения больших языковых моделей, а также решать задачи оптимизации и инференса моделей с помощью современных подходов.
• Знает об основных алгоритмах и подходах к обучению больших языковых моделей.
• Может выбрать подходящий алгоритм для решения заданной задачи.

Содержание учебной дисциплины

• Обзор области NLP. Большие языковые модели. Эволюция методов обработки естественного языка.
• Архитектура трансформера
• Эволюция моделей семейства BERT
• Эволюция моделей семейства GPT
• Общие принципы работы Сhat-gpt
• Работа с данными для больших языковых моделей
• Alignment. Безопасность модели
• Технические нюансы обучения GPT-моделей
• Подходы к оптимизации обучения и инференса LLM

Элементы контроля

• Домашняя работа
• Летучка
• Выступление на семинаре

Промежуточная аттестация

• 2024/2025 3rd module
  Оценка = Округление(0.80 * AVG(ДЗ) + 0.09 * AVG(Л) + 0.11 * C)

Список литературы

Рекомендуемая основная литература

• Uday Kamath, John Liu, & James Whitaker. (2019). Deep Learning for NLP and Speech Recognition. Springer.

Рекомендуемая дополнительная литература

• 9781838827724 - Antonio Gulli; Amita Kapoor; Sujit Pal - Deep Learning with TensorFlow 2 and Keras : Regression, ConvNets, GANs, RNNs, NLP, and More with TensorFlow 2 and the Keras API, 2nd Edition - 2019 - Packt Publishing - http://search.ebscohost.com/login.aspx?direct=true&db=nlebk&AN=2339879 - nlebk - 2339879

Авторы

• Кононова Елизавета Дмитриевна