2025/2026
Дизайн современных LLM
Статус:
Маго-лего
Где читается:
Факультет компьютерных наук
Когда читается:
3 модуль
Охват аудитории:
для своего кампуса
Преподаватели:
Бурлова Альбина Сергеевна
Язык:
русский
Кредиты:
3
Контактные часы:
28
Программа дисциплины
Аннотация
Дисциплина является логическим продолжением курса “Основы NLP” и посвящена устройству современных больших языковых моделей (LLM) и практикам их применения в реальных задачах. Курс рассматривает LLM как масштабируемый трансформер и проходит ключевые этапы жизненного цикла модели: подготовку данных и предварительное обучение, дообучение по инструкциям и параметро-эффективную адаптацию (LoRA/QLoRA), выравнивание по предпочтениям (RLHF/DPO), построение систем “поиск и генерация” (RAG), а также инструментов и агентных сценариев вокруг модели, оценку качества и безопасности, а также ускорение и развертывание моделей.
Цель освоения дисциплины
- Сформировать у студентов системное представление о том, как проектируются, обучаются, адаптируются и внедряются современные LLM: от архитектурных решений и данных до alignment, оценивания и продакшен развертывания.
Планируемые результаты обучения
- ● Объяснять ключевые компоненты архитектуры больших языковых моделей (декодерный трансформер, токены, позиционные кодировки, варианты механизма внимания) и компромиссы масштабирования.
- ● Проектировать пайплайн обучения небольшой языковой модели: подготовка и очистка данных, токенизация, предварительное обучение на предсказание следующего токена, мониторинг и базовая оценка.
- ● Выполнять дообучение по инструкциям и адаптивную настройку языковой модели (LoRA/QLoRA), подбирать данные и формат инструкций, контролировать переобучение.
- ● Понимать базовые методы выравнивания по предпочтениям: данные предпочтений, обучение с подкреплением на обратной связи (RLHF) и оптимизация по предпочтениям (DPO/ORPO) на практике.
- ● Оценивать качество, устойчивость и безопасность LLM: строить воспроизводимый бенчмарк, проводить абляции, выполнять диагностику ошибок и интерпретацию поведения модели (вклад контекста и источников, признаки “галлюцинаций”).
- ● Собирать и улучшать системы “поиск и генерация” (RAG): эмбеддинги, разбиение на фрагменты, поиск, переранжирование, шаблоны запросов; интегрировать вызов функций и инструментов.
- ● Оптимизировать инференс и развертывание LLM: пакетирование запросов, кэш ключей-значений, квантизация, спекулятивное декодирование; основы сервинга и оценка задержки/пропускной способности.
Содержание учебной дисциплины
- Введение в LLM как масштабируемый трансформер: архитектура, токенизация, законы масштабирования и современные тренды (MoE, длинный контекст, мультимодальность - обзор).
- Данные и обучение: корпуса, очистка и дедупликация, токенизация, предварительное обучение на предсказание следующего токена; дообучение по инструкциям (SFT) как переход к прикладным задачам.
- Адаптивная настройка языковой модели: LoRA/QLoRA, выбор задачи и формата данных, стабильность обучения и контроль качества.
- Выравнивание и безопасность: предпочтения, reward‑modeling и RLHF (обзор), DPO/ORPO (практика), основы “красной команды” (red teaming) и базовые ограничения безопасности.
- Оценка, диагностика и интерпретируемость: наборы задач, автоматическая оценка и оценка с помощью LLM (LLM‑as‑a‑judge), воспроизводимость, абляции, анализ ошибок и вклад контекста/источников.
- RAG и системы вокруг LLM: эмбеддинги, разбиение на фрагменты, поиск и переранжирование, управление контекстом, вызов функций/инструментов и основы агентных пайплайнов.
- Инференс и развертывание: сервинг (vLLM и аналоги), пакетирование, кэш ключей-значений, квантизация и компрессия, спекулятивное декодирование, измерение задержки/пропускной способности, практический бенчмарк.
Элементы контроля
- Домашнее задание 1.Адаптация LLM под задачу: дообучение по инструкциям и/или адаптивная настройка (LoRA/QLoRA), сравнение с базовой моделью, отчёт по метрикам и анализу ошибок.
- Домашнее задание 2.На выбор формата: а) соревнование по задаче текстовой генерации; b) проект: прототип “мини‑ChatGPT” (RAG + tools + eval + inference‑оптимизации).
