Бакалавриат 2025/2026

Мультимодальное обучение

ID 1074686

Статус: Курс по выбору (Прикладной анализ данных и искусственный интеллект)

Кто читает: Департамент информатики

Где читается: Школа информатики, физики и технологий

Когда читается: 4-й курс, 1, 2 модуль

Охват аудитории: для всех кампусов НИУ ВШЭ

Преподаватели: Рогачев Александр Игоревич

Язык: русский

Кредиты: 5

Контактные часы: 40

Программа дисциплины

Аннотация

Курс «Мультимодальное обучение» знакомит студентов с принципами построения, обучения и использования моделей, интегрирующих несколько типов данных (текст, изображения, аудио, видео). Рассматриваются фундаментальные архитектуры визуально-языковых моделей (VLM) и мультимодальных LLM (CLIP, BLIP, LLaVA, InternVL и др.), методы pre-training и fine-tuning, работа с мультимодальными датасетами (COCO, LAION‑5B, CC12M, WebVid, AudioSet), а также подходы к оценке качества и интерпретации мультимодальных систем. Особое внимание уделяется практическим аспектам: студенты реализуют прототипы мультимодальных систем (image captioning, video understanding, multimodal retrieval), осваивают автоматизацию генерации датасетов и знакомятся с вопросами надёжности и атак на мультимодальные модели.