Глубинное обучение для текстовых данных

2026/2027

ID 1217242

Статус: Маго-лего

Кто читает: Базовая кафедра МТС

Где читается: Факультет компьютерных наук

Когда читается: 3, 4 модуль

Охват аудитории: для своего кампуса

Язык: русский

Кредиты: 6

Контактные часы: 80

Дополнительные материалы в LMS Задать вопрос

Аннотация

Курс посвящён нейросетевым методам обработки естественного языка: от представления текста и моделей последовательностей до предобученных трансформеров, дообучения языковых моделей и генерации с опорой на документы. На единой последовательности задач студенты изучают классификацию, извлечение сущностей и ответов, машинный перевод, суммаризацию и семантический поиск. Для каждой постановки рассматриваются устройство модели, подготовка обучающих примеров, функция потерь и способ проверки качества. Особое внимание уделяется маскам внимания, согласованию токенизации и разметки, адаптации предобученных моделей, контролю фактических ошибок и разделению ошибок поиска и генерации. Семинары предполагают программирование на Python и PyTorch, работу с открытыми моделями и небольшими корпусами. Студенты сравнивают нейросетевые решения с простыми базовыми методами и оформляют результаты воспроизводимыми экспериментами.

Цель освоения дисциплины

Научить представлять текст в форме, подходящей для обучения моделей, и согласовывать токенизацию с целевой задачей.
Раскрыть устройство свёрточных, рекуррентных и трансформерных моделей применительно к текстовым последовательностям.
Сформировать навыки использования и дообучения предобученных кодирующих, кодирующе-декодирующих и авторегрессионных моделей.
Научить строить семантический поиск и генерацию с опорой на найденные документы.
Научить оценивать качество текстовых решений, выявлять утечки, фактические ошибки и ограничения выбранного протокола.

Планируемые результаты обучения

Подготавливать корпус, выбирать единицу разбиения, обучать или применять токенизатор и согласовывать токены с разметкой.
Сравнивать линейную модель, модель с векторными представлениями и нейросетевую модель последовательности на одной задаче.
Объяснять и проверять работу внимания, позиционных представлений, маски заполнения и причинной маски.
Дообучать предобученную модель для классификации, извлечения сущностей или ответа и корректно вычислять метрики.
Настраивать генерацию для перевода, суммаризации или ответа, сравнивать стратегии декодирования и анализировать ошибки.
Адаптировать модель с помощью LoRA и сравнивать результат с исходной моделью при фиксированных данных и параметрах оценки.
Строить поиск по документам и систему ответа с опорой на найденные фрагменты, отдельно оценивать поиск и генерацию.
Проводить воспроизводимое сравнение текстовых систем, проверять фактическую опору ответа и описывать ограничения метрик.

Содержание учебной дисциплины

Текстовые задачи и подготовка корпуса
Векторные представления и модели последовательностей
Внимание и трансформер для текста
Предобученные кодировщики и извлечение информации
Преобразование последовательностей
Авторегрессионные языковые модели
Адаптация языковых моделей
Семантический поиск по текстам
Генерация с опорой на документы
Оценка и надёжность текстовых систем

Элементы контроля

ДЗ 1 Представление текста и классификация
Домашние задания выполняются индивидуально и сдаются как Jupyter-ноутбук либо репозиторий с кодом, инструкцией запуска и отчётом. Отчёт содержит постановку задачи, описание данных, базовое решение, параметры эксперимента, таблицу результатов и содержательные выводы. Числовое преимущество над другими студентами само по себе не определяет оценку: оцениваются корректность метода, проверка гипотезы и объяснение результата. Номер недели задаёт основной срок сдачи. Конкретные календарные даты публикуются в начале курса. Для домашних заданий предусмотрен жёсткий срок; между основным и жёстким сроками оценка уменьшается на 1 балл за каждые начатые сутки просрочки, но не ниже 0. Один раз за курс разрешена сдача до жёсткого срока без штрафа при уведомлении преподавателя до основного срока. После жёсткого срока работа не принимается. Все сроки — 23:59 по московскому времени; срок перед экзаменом или защитой отсчитывается от времени начала соответствующей аттестации и не устанавливается раньше основного срока. В работах указываются источники данных, заимствованного кода и моделей. Использование генеративных моделей допускается как вспомогательный инструмент с описанием того, какие части работы выполнены с их помощью. Студент отвечает за корректность результата и должен объяснить метод, код и расчёты. Проверка самостоятельности и рассмотрение нарушений проводятся по действующему порядку НИУ ВШЭ. При документально подтверждённых уважительных причинах применяется индивидуальный срок в соответствии с порядком университета.
ДЗ 2 Трансформер и извлечение информации
ДЗ 3 Адаптация и ответы по документам
Экзамен
Письменный экзамен проводится после завершения 10-й недели и не заменяет лекцию или семинар. Продолжительность — 90 минут. Билет включает четыре задания: представления и подготовка текста; архитектура трансформера и маски; предобучение и адаптация; оценка генерации и поиска. Разрешены письменные принадлежности и непрограммируемый калькулятор; материалы курса, интернет и генеративные модели не используются.

Промежуточная аттестация

2026/2027 4th module
Итог = ОКРУГЛ(0,20 × ДЗ₁ + 0,20 × ДЗ₂ + 0,20 × ДЗ₃ + 0,40 × Э). ДЗᵢ — оценка за соответствующее домашнее задание после учёта просрочки; Э — оценка за письменный экзамен. Все компоненты принимают значения от 0 до 10 и до применения формулы не округляются. Несданный элемент получает 0 баллов. Итоговая оценка лежит в диапазоне от 0 до 10. Бонусные баллы не предусмотрены.

Список литературы

Авторы

Малых Валентин Андреевич

Программа дисциплины