2026/2027
Обработка естественного языка - 2 часть
ID 1155015
Статус:
Маго-лего
Где читается:
Факультет компьютерных наук
Когда читается:
2 модуль
Охват аудитории:
для своего кампуса
Язык:
русский
Кредиты:
3
Контактные часы:
26
Программа дисциплины
Аннотация
Language Processing 2 (NLP-2) — продвинутый практико-ориентированный курс для студентов, успешно освоивших NLP-1. Курс посвящён полному циклу разработки языковой модели: от развития базовой архитектуры трансформера и подготовки данных до эффективного обучения, масштабирования, оценивания и безопасной эксплуатации.
Цель освоения дисциплины
- Углубить понимание устройства и обучения современных языковых моделей через самостоятельную реализацию их компонентов
- Познакомить слушателей с системными методами профилирования, оптимизации и распределённого обучения моделей
- Развить навыки постановки воспроизводимых экспериментов с архитектурами, данными, масштабированием и post-training
- Познакомить слушателей с альтернативными подходами к генерации текста и безопасностью языковых моделей
Планируемые результаты обучения
- Понимать архитектуру трансформера и механизм внимания
- Иметь опыт обучения ванильной Transformer LM
- Понимать механизмы токенизации и генерации текста
- Владеть основами pre-training, supervised fine-tuning, PEFT, RLHF и DPO
- Понимать основные подходы к оцениванию языковых моделей
- Комфортно владеть Python, NumPy, PyTorch и bash
- Владеть основами линейной алгебры, математического анализа, теории вероятностей и статистики
Содержание учебной дисциплины
- Архитектура и обучение современных языковых моделей
- GPU, профилирование и эффективные ядра
- Эффективное и распределённое обучение
- Scaling laws и эффективный инференс
- Данные и оценивание языковых моделей
- Post-training и обучение рассуждению
- Диффузионные языковые модели
- Безопасность языковых моделей и LLM-сервисов
Список литературы
Рекомендуемая основная литература
- Программирование GPU при помощи Python и CUDA : исследуйте высокопроизводительные параллельные вычисления с помощью CUDA, Тоуманен, Б., 2020
Рекомендуемая дополнительная литература
- Shay Cohen. (2019). Bayesian Analysis in Natural Language Processing : Second Edition. San Rafael: Morgan & Claypool Publishers. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=2102157