Бакалавриат 2025/2026

Генеративные модели на основе диффузии

Статус: Курс по выбору (Прикладная математика и информатика)

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 4-й курс, 1, 2 модуль

Охват аудитории: для своего кампуса

Преподаватели: Оганов Александр Артурович, Ракитин Денис Романович

Язык: русский

Кредиты: 5

Контактные часы: 56

Программа дисциплины

Аннотация

В курсе будет подробно разобрана математическая формализация диффузионных моделей и их обучение на практике, методы их обусловливания, ускорения и сжатия. Помимо диффузионных моделей, мы разберем современные потоковые модели (в частности, модель Flow Matching) и их применение к различным задачам компьютерного зрения: обратным задачам (повышение разрешение, деблюринг и т.д.), парному и непарному переносу стиля. Существенная часть курса будет посвящена задаче оптимального транспорта и различным методам, ее решающим, в том числе, методам построения так называемых мостов Шрёдингера. Будет большая математическая составляющая, но будет и много практики: имплементация методов на семинарах, исследование выбора гиперпараметров моделей и их поведения в домашних работах. Помимо этого, в курсе предполагается проект, целью которого является реализация метода из одной из статей по выбору. Курс в первую очередь рассчитан на тех, кто интересуется и собирается заниматься генеративными моделями: диффузионные и потоковые модели сейчас выбивают SOTA результаты на многих задачах, и знать о том, как они устроены, лишним не будет. Помимо этого, в курсе будут разобраны многие техники, имеющие отношение к стохастическому анализу. Разобраны они будут не очень формально, но все равно могут быть полезны тем, кто больше любит теоретическую сторону вопроса, за счет разбора интуиции, стоящей за ними, и различных примеров их применения.

Цель освоения дисциплины

• Умение работать с моделью Flow Matching в применении к задачам безусловной генерации и парным задачам переноса стиля;
• Умение формулировать задачи переноса стиля в терминах оптимального транспорта
• Освоение методов непарного переноса стиля на основе диффузионных моделей
• Понимание смысла задачи моста Шрёдингера и связи между ее динамической формой и задачей энтропийного оптимального транспорта
• Погружение в современное генеративное моделирование, понимание текущих результатов и задач, стоящих перед исследователями

Планируемые результаты обучения

• Понимание динамического подхода к генеративному моделированию и сопутствующих инструментов: уравнения непрерывности и Фоккера-Планка
• Освоение прикладных основ стохастических дифференциальных уравнений
• Освоение диффузионных моделей и их применения к задачам генерации

Содержание учебной дисциплины

• Введение в курс. Работа с плотностями и условное математическое ожидание.
• Марковские цепи, процессы зашумления. Диффузионные модели в дискретном времени.
• Стохастические дифференциальные уравнения (СДУ). Процессы зашумления с непрерывным временем.
• Уравнение непрерывности и Фоккера-Планка
• Диффузионные модели в непрерывном времени. Обращение СДУ по времени. Score-функция и ее обучение.
• Диффузионные модели для условной генерации. Classifier и Classifier-free Guidance.
• Дистилляция диффузионных моделей в одношаговые. Consistency Models. Distribution Matching Distillation.
• Ускорение процесса генерации из диффузионных моделей. Солверы ОДУ. Обучение солверов ОДУ.
• Модель Flow Matching для безусловной генерации и парных задач.
• Задача статического и динамического оптимального транспорта. Метод Rectified Flow и его неподвижные точки.
• Методы Neural Optimal Transport и Regularized Distribution Matching Distillation для непарного переноса стиля.
• h-преобразование Дуба. Модель Bridge Matching: обобщение Flow Matching на стохастический случай.
• Задача энтропийного оптимального транспорта. Задача моста Шрёдингера, динамическая формулировка. Связь с энтропийным оптимальным транспортом.
• Характеризация Моста Шрёдингера через 4 свойства: имеет заданные распределения на концах, задается СДУ, условно распределен как броуновский мост.
• Задача семплирования в непрерывном случае. Denoising Diffusion Samplers.

Элементы контроля

• Теоретическое домашнее задание 1
  Выдается после лекции № 2. Содержит две задачи на обращение по времени процесса зашумления.
• Теоретическое домашнее задание 2
  Выдается после лекции № 3. Содержит две задачи на работу с СДУ.
• Теоретическое домашнее задание 3
  Выдается после лекции № 5. Содержит три задачи: на связь дискретной и непрерывной диффузии; свойства score функции.
• Теоретическое домашнее задание 4
  Выдается после лекции № 9. Содержит три задачи, связанные с теоретическими свойствами метода Flow Matching.
• Теоретическое домашнее задание 5
  Выдается после лекции № 12. Содержит одну задачу, посвященную аналогу метода Bridge Matching.
• Практическое домашнее задание 1
  Выдается после лекции №6. Содержит три задачи. Первая посвящена зависимости скорости генерации из диффузионных моделей от интервала их обусловливания. Вторая посвящена имплементации метода ControlNet для решения парных задач. Третья – методам SDEdit и DDIB решения непарных задач.
• Практическое домашнее задание 2
  Выдается после лекции №8. Содержит две задачи, посвященные методам дистилляции диффузионных моделей и обучению солверов ОДУ.
• Практическое домашнее задание 3
  Выдается после лекции №10. Содержит две задачи, посвященные оптимальному транспорту и спрямлению траекторий диффузионных моделей.
• Проект
  Выдается после лекции №9. Состоит в имплементации одного/нескольких методов из современных статей по генеративному моделированию. Цель зависит от конкретного метода и может включать в себя: 1) исследование качественных свойств метода в зависимости от гиперпараметров; 2) сравнение нескольких методов между собой; 3) просто воспроизведение, если метод сложный для имплементации.
• Экзамен
  Экзамен проводится очно в устной форме. Студент получает билет, который включает в себя один вопрос из программы экзамена, одну качественную задачу (может быть сформулирована похоже на билет из программы). На подготовку отводится час. Во время подготовки можно использовать записи на одном листе А4, но запрещается использовать электронные средства коммуникации. После ответа студенту задаются дополнительные вопросы по материалам курса или предлагается дополнительная качественная задача.

Промежуточная аттестация

• 2025/2026 2nd module
  Итог = Округление(0.3 * ТДЗ + 0.2 * ПДЗ + 0.2 * ПР + 0.3 * Э), где ТДЗ — средняя оценка за все теоретические домашние задания, ПДЗ — средняя оценка за все практические домашние задания, ПР — оценка за проект, Э — оценка за экзамен.

Список литературы

Рекомендуемая основная литература

• Bernt Øksendal. (2010). Stochastic Differential Equations : An Introduction with Applications (Vol. 6th ed. 2003). Springer.

Рекомендуемая дополнительная литература

• Ikeda, N., & Watanabe, S. (1981). Stochastic Differential Equations and Diffusion Processes. North Holland.

Авторы

• Ракитин Денис Романович