Дополнительные архитектуры генеративного искусственного интеллекта

Магистратура 2026/2027

ID 1134906

Статус: Курс обязательный (Исследования и предпринимательство в искусственном интеллекте)

Кто читает: Базовая кафедра МТС

Где читается: Факультет компьютерных наук

Когда читается: 2-й курс, 1 модуль

Охват аудитории: для своего кампуса

Язык: русский

Кредиты: 3

Контактные часы: 28

Дополнительные материалы в LMS Задать вопрос

Аннотация

Дисциплина посвящена изучению современных архитектур и методов генерации, выходящих за рамки классического трансформера. В рамках курса рассматриваются авторегрессионные модели, линейное внимание, рекуррентные и гибридные архитектуры, разреженное внимание, а также диффузионные модели и методы flow matching. Особое внимание уделяется анализу вычислительной стоимости генерации с точки зрения объёма используемой памяти и количества проходов нейронной сети. Дисциплина направлена на формирование практических навыков реализации генеративных механизмов на чистом PyTorch, профилирования моделей, анализа научных статей, сравнения различных целей обучения и экспериментальной проверки архитектурных гипотез в условиях ограниченного вычислительного бюджета.

Цель освоения дисциплины

Изучение современных архитектур и методов генерации в нейросетевых моделях, включая авторегрессионные, линейные и диффузионные подходы.
Формирование навыков анализа вычислительной эффективности генеративных архитектур, их реализации на чистом PyTorch, экспериментальной проверки архитектурных гипотез и интерпретации результатов исследований.

Планируемые результаты обучения

Знание принципов авторегрессионной и диффузионной генерации, а также особенности архитектур, альтернативных классическому трансформеру
Понимание взаимосвязи между архитектурой модели, объёмом используемой памяти, количеством проходов сети и качеством генерации
Умение выводить, реализовывать и проверять эквивалентность различных форм вычисления линейного оператора
Умение реализовывать на чистом PyTorch механизмы линейного внимания, включая механизмы забывания, гейты и вычисления в половинной точности
Умение объяснять принципы работы и сравнивать архитектуры Mamba, RWKV, RetNet, Hyena, гибридные модели и модели с разреженным вниманием
Знание основных подходов к обучению диффузионных моделей, включая flow matching, rectified flow и score matching, и уметь реализовывать соответствующие функции потерь
Умение обучать и оценивать генеративные модели, исследовать влияние количества проходов сети на качество генерации и профилировать использование памяти и скорость работы
Умение анализировать научные статьи, формулировать и проверять архитектурные гипотезы с учётом baseline, метрик и ресурсного бюджета
Умение интерпретировать результаты экспериментов и представлять выводы, в том числе при отрицательном результате

Содержание учебной дисциплины

Современные подходы к генерации и вычислительная стоимость генеративных моделей: память, KV-кэш и количество проходов сети
Подготовка и защита командного проекта
Профилирование моделей, исследование вычислений в fp16 и сравнение различных целей обучения
Анализ научных статей и экспериментальная проверка архитектурных гипотез в условиях заданного ресурсного бюджета
Единая система сравнения генеративных архитектур
Диффузионные языковые модели и малошаговая генерация
Диффузионные модели, flow matching, rectified flow и score matching
Архитектура DiT, управление генерацией и методы сокращения числа шагов.
Авторегрессионная генерация и переход от классического внимания к линейному
Рекуррентная, параллельная и поблочная формы вычисления линейного оператора
Состояние модели, механизмы его обновления, забывания и гейты
Архитектуры Mamba, RWKV, RetNet и Hyena
Гибридные архитектуры, длинные свёртки и разреженное внимание
Практическая реализация механизмов линейного внимания и генеративных моделей на чистом PyTorch

Элементы контроля

Домашнее задание
Каждая домашняя работа выдаётся на одну неделю. После дедлайна работа принимается ещё в течение 72 часов со снижением оценки: ● опоздание до 24 часов — минус 20%; ● опоздание от 24 до 48 часов — минус 40%; ● опоздание от 48 до 72 часов — минус 60%; ● более 72 часов — работа не принимается.
Домашнее задание
Каждая домашняя работа выдаётся на одну неделю. После дедлайна работа принимается ещё в течение 72 часов со снижением оценки: ● опоздание до 24 часов — минус 20%; ● опоздание от 24 до 48 часов — минус 40%; ● опоздание от 48 до 72 часов — минус 60%; ● более 72 часов — работа не принимается.
Проект

Промежуточная аттестация

2026/2027 1st module
0.4 * Проект + 0.3 * Домашнее задание + 0.3 * Домашнее задание

Программа дисциплины