Компьютерное зрение

2026/2027

ID 1149342

Статус: Маго-лего

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 3 модуль

Охват аудитории: для своего кампуса

Преподаватели: Лапшина Анастасия Андреевна

Язык: русский

Кредиты: 3

Контактные часы: 24

Дополнительные материалы в LMS Задать вопрос

Аннотация

Теоретико-практический курс с акцентом на современные методы распознавания и генерации изображений. Курс посвящён современным методам компьютерного зрения: классификации изображений, детекции объектов, сегментации и генерации изображений. На лекциях рассматриваются данные и метрики качества, визуальные энкодеры CNN и Vision Transformers, обучение визуальных представлений, мультимодальные модели, DETR и сегментация по запросу, диффузионные модели и flow matching. На семинарах студенты работают с предобученными моделями, реализуют основные компоненты алгоритмов, проводят эксперименты и анализируют ошибки. Домашние задания выполняются в формате ноутбуков Jupyter и посвящены сегментации людей на фотографиях и обучению небольшой диффузионной модели. Курс формирует навыки выбора, настройки и корректной оценки моделей компьютерного зрения.

Цель освоения дисциплины

Знать основные задачи компьютерного зрения, виды разметки и метрики качества.
Знать принципы CNN, Vision Transformers, self-supervised learning и vision-language models.
Уметь обучать модели сегментации и выбирать функции потерь и аугментации.
Знать устройство DETR и современные подходы к детекции и сегментации по запросу.
Знать принципы диффузионных моделей, условной генерации и flow matching.
Уметь проводить воспроизводимые эксперименты и оценивать качество, скорость и ограничения моделей.

Планируемые результаты обучения

Студент различает классификацию, детекцию, семантическую, экземплярную и паноптическую сегментацию.
Студент применяет предобученные визуальные энкодеры и объясняет различия CNN и ViT;
Студент обучает U-Net и LinkNet, сравнивает функции потерь и рассчитывает Dice и IoU;
Студент объясняет object queries и matching в DETR, применяет готовые модели сегментации по запросу;
Студент реализует основные шаги DDPM и исследует влияние расписания шума;
Студент объясняет guidance, латентную диффузию, DiT и flow matching и анализирует результаты генерации;

Содержание учебной дисциплины

Современный CV: задачи, данные и метрики; CNN и Vision Transformers; self-supervised learning и vision-language models
Детекция и сегментация I: рамки и маски, IoU и mAP, NMS, U-Net и LinkNet, BCE и Dice loss
Детекция и сегментация II: DETR, object queries и matching; современные детекторы, open-vocabulary и SAM 3
Диффузионные модели I: DDPM, прямой и обратный процессы, расписание шума, предсказание шума и обучение
Диффузионные модели II: условная генерация, classifier-free guidance, DDIM и латентная диффузия
Диффузионные модели III: flow matching, rectified flow, DiT, современные архитектуры FLUX.2, дистилляция и LoRA

Элементы контроля

Промежуточный тест — 1 работа (ПТ)
Индивидуальный тест на понимание определений, принципов работы методов, метрик и интерпретацию результатов. Проводится в первые 30 минут лекции № 4 и включает вопросы только по материалу первых трёх тем. Время теста входит во время лекции.
Домашнее задание 1 — Сегментация изображений
Индивидуальный ноутбук Jupyter (.ipynb): подготовка данных и аугментаций, реализация U-Net и LinkNet с энкодером VGG13, сравнение BCE и Dice loss, оценка Dice и IoU, визуализация масок и анализ ошибок.
Домашнее задание 2 — Диффузионные модели
Индивидуальный ноутбук Jupyter (.ipynb): реализация прямого и обратного процессов DDPM, обучение на Swiss Roll и MNIST, сравнение расписаний шума, логирование и анализ качества генерации.
Бонусные задания на лекциях и семинарах
Бонусные задания выдаются на семинарах в течение модуля; сроки сдачи объявляются на соответствующем семинаре. Часть лекций и семинаров включает бонусные задания. Они не образуют отдельной формы контроля: полученные баллы добавляются к оценкам за домашние задания и промежуточный тест. Выполнение бонусных заданий не является обязательным. Бонусные баллы, полученные за ответы на вопросы на лекциях и/или выполнение дополнительных заданий на семинарах, суммируются за весь модуль и распределяются равномерно. Сначала они добавляются к оценкам за домашние задания — равными долями к каждому из двух ДЗ, при этом оценка за отдельное домашнее задание не может превысить 10 баллов. Если после этого у студента остаются нераспределённые бонусные баллы, а оценка ДЗ уже максимальна, остаток добавляется к оценке за промежуточный тест, при этом оценка за тест также не может превысить 10 баллов. Баллы, оставшиеся после заполнения обеих составляющих до максимума, не учитываются.
Финальный экзамен (ФЭ)
Проводится дистанционно в экзаменационный период по расписанию образовательной программы. Индивидуальный экзамен по материалу всех шести тем курса. Состоит из двух частей: тестовой части и устной части, которую студент сдаёт преподавателю. Пользоваться справочными материалами в ходе экзамена запрещено. После ответа студенту могут быть заданы дополнительные вопросы и предложены задачи на понимание материала, не требующие обширных вычислений.

Промежуточная аттестация

2026/2027 3rd module
Итог = Округление(0,5 × ДЗ + 0,2 × ПТ + 0,3 × ФЭ), где ДЗ — средняя арифметическая оценка за два домашних задания, ПТ — оценка за промежуточный тест, ФЭ — оценка за финальный экзамен. Все составляющие оцениваются по 10-балльной шкале. При этом финальный экзамен даёт 30% итоговой оценки, поэтому студент, не сдающий экзамен, получает ФЭ = 0, и его итоговая оценка не может превышать 7 баллов из 10.

Список литературы

Авторы

Комарова Ксения Степановна

Программа дисциплины