2025/2026
NLP
Статус:
Маго-лего
Где читается:
Факультет компьютерных наук
Когда читается:
3 модуль
Охват аудитории:
для своего кампуса
Преподаватели:
Тихонова Мария Ивановна
Язык:
русский
Кредиты:
3
Контактные часы:
24
Программа дисциплины
Аннотация
Курс посвящён современным NLP-моделям на основе архитектуры Transformer, лежащим в основе больших языковых моделей. В рамках курса рассматриваются принципы работы трансформеров в задачах языкового моделирования и машинного перевод, архитектуры энкодеров и декодеров, методы обучения и применения LLM, а также современные подходы к построению Retrieval-Augmented Generation (RAG) систем и базовых LLM-агентов.
Курс сочетает теоретическое изучение архитектур и алгоритмов с практической работой по использованию современных фреймворков и инструментов для разработки LLM-ориентированных систем.
Цель освоения дисциплины
- • понимать принципы работы архитектуры Transformer и её ключевые компоненты;
- • уметь решать широкий спектр задач языкового моделирования и NLP с помощью трансформерных моделей
- • знать современные архитектуры энкодерных, декодерных и энкодер-декодерных трансформеров;
- • понимать устройство и особенности современных LLM;
- • уметь применять трансформеры для задач классификации и генерации;
- • знать подходы к построению и использованию RAG-систем;
- • понимать основы построения LLM-агентов на базе LLM.
Планируемые результаты обучения
- • объясняет архитектуру Transformer и различия между энкодерами и декодерами;
- • реализует и применяет трансформерные модели для задач классификации, языкового моделирования и генерации;
- • понимает принципы работы современных LLM;
- • проектирует и реализует RAG-пайплайны для задач вопрос–ответ и генерации;
- • разрабатывает базовых AI-агентов с использованием LLM.
- Студент разбирается в различных стратегиях токенизации, применяет энкодерные трансформеры для задач классификации и настраивает предобученные модели под прикладные NLP-задачи.
- Студент понимает принципы работы декодерных трансформеров и GPT-моделей, объясняет роль RLHF и использует LLM для генерации текста.
- Студент умеет выбирать и применять метрики оценки LLM, интерпретировать результаты бенчмаркинга и критически анализировать качество генеративных моделей.
- Студент проектирует и реализует RAG-пайплайны, использует внешние базы знаний и понимает ограничения и преимущества retrieval-ориентированных подходов.
- Студент понимает принципы построения LLM-агентов, реализует простых агентов и анализирует их поведение и ограничения.
Содержание учебной дисциплины
- Архитектура Transformer и машинный перевод
- Токенизация и энкодерные трансформеры. Классификация с использованием Transformers
- Декодерные трансформеры, GPT и RLHF
- Оценка качества и бенчмаркинг LLM
- Retrieval-Augmented Generation (RAG)
- Введение в AI-агентов на базе LLM
Промежуточная аттестация
- 2025/2026 3rd module0.2 * Домашнее задание 1 + 0.3 * Домашнее задание 2 + 0.3 * Домашнее задание 3 + 0.2 * Экзамен
