Архитектура LLM

Бакалавриат 2026/2027

ID 1270335

Статус: Курс по выбору (Экономика и анализ данных)

Кто читает: Базовая кафедра Банка России

Где читается: Общеуниверситетские кафедры

Когда читается: 3-й курс, 2, 3 модуль

Охват аудитории: для своего кампуса

Язык: русский

Кредиты: 6

Контактные часы: 72

Дополнительные материалы в LMS Задать вопрос

Аннотация

Курс носит прикладной характер и формирует комплексное понимание того, как на практике функционируют современные большие языковые модели (LLM). Познакомит с историческими предпосылками возникновения больших языковых моделей. Позволит сформировать понимание архитектуры и принципа их функционирования, способы модификации под конкретную задачу, возможности оптимизации работы моделей. Курс позволит глубже понимать логику обучения языковых моделей. Пререквизиты: программирование на python, английский язык на уровне достаточном для чтения научных статей по технической тематике, математический фундамент, основы машинного обучения.

Цель освоения дисциплины

Формирование системного понимания принципов построения, функционирования и оптимизации современных больших языковых моделей. Подготовить специалиста, способного не только эффективно использовать готовые LLM, но и понимать архитектуру и принцип их функционирования, способы модификации под конкретную задачу, оптимизировать работу моделей, способного разрабатывать инновационные решения в области искусственного интеллекта.

Планируемые результаты обучения

Понимание фундаментальных механизмов: изучение внутренней структуры трансформеров (механизмы внимания, слои нормализации, позиционное кодирование) и то, как это позволяет моделям обрабатывать текст и генерировать структурированные последовательности.
Освоение процессов обучения: погружение в этапы создания моделей, от предобучения (pre-training) на массивах данных, до обучения с подкреплением (RLHF) и тонкой настройки (fine-tuning) под конкретные задачи.
Навыки оптимизации и развертывания: Приобретение знаний о методах уменьшения вычислительных затрат (квантование, дистилляция, sparse-модели), самостоятельного проектирования, модификации архитектуры и способах внедрения в продуктовой среде.
Анализ ограничений: Понимание источников проблем, присущих LLM, таких как галлюцинации, смещение данных, безопасность и интерпретируемость.

Содержание учебной дисциплины

1. Эволюция ИИ
2. Архитектура ИИ
3. Инфраструктура ИИ
4. Работа с данными и подготовка к обучению
5. Анализ тональности текстов
6. Локализация и адаптация моделей
7. Оценка качества моделей
8. Оптимизация моделей
9. Развертывание и мониторинг моделей
10. Инференс моделей
11. Продвинутые методы обучения
12. Расширенные архитектуры и приложения

Элементы контроля

Активность на лекционных и семинарских занятиях
Тесты по каждой из семи тем (7×5%)
Проект (содержание)
Экзамен (презентация проекта)

Промежуточная аттестация

2026/2027 3rd module
0.1 * Активность на лекционных и семинарских занятиях + 0.2 * Экзамен (презентация проекта) + 0.35 * Проект (содержание) + 0.35 * Тесты по каждой из семи тем (7×5%)

Список литературы

Авторы

Котова Ирина Николаевна
Лебедев Михаил Владимирович

Программа дисциплины