Бакалавриат
2024/2025
Трансформерные и мультимодальные модели
Статус:
Курс по выбору (Прикладная математика и информатика)
Когда читается:
4-й курс, 1, 2 модуль
Охват аудитории:
для своего кампуса
Преподаватели:
Жестков Борис Григорьевич,
Терновский Валерий Александрович
Язык:
русский
Программа дисциплины
Аннотация
Обзор современных трансформерных архитектур, погружение в схему работы механизмов внимания (attention), анализ сильных и слабых сторон, разбор различных типов моделей (энкодеры, декодеры, энкодеры-декодеры), типов задач. Анализ последних работ по модификациям архитектур трансформеров, разбор деталей обучения моделей.
Цель освоения дисциплины
- Настраивать процесс итеративной разработки индустриальных сервисов на основе трансформерных моделей.
- Понимать нюансы современного исследовательского фронтира в трансформерных моделях
- Уметь пользоваться и обучать модели под свои задачи
Планируемые результаты обучения
- Использует современные трансформерные модели в решении прикладных задач;
- Проводит исследования, связанные с трансформерными и другими нейросетевыми архитектурами;
- Понимает сильные и слабые стороны различных трансформерных моделей, способов их обучения/дообучения, ограничения в использовании.
Содержание учебной дисциплины
- The Transformer
- Решение Sequence-to-sequence (seq2seq)
- Энкодеры
- Декодеры
- Pretraining
- Post-Training
- Cutting-edge transformers research
- Защиты финальных проектов
