2026/2027





Продвинутая видеоаналитика
ID 1134945
Статус:
Маго-лего
Кто читает:
Базовая кафедра МТС
Где читается:
Факультет компьютерных наук
Когда читается:
2 модуль
Охват аудитории:
для своего кампуса
Преподаватели:
Копылов Иван Станиславович
Язык:
русский
Кредиты:
3
Контактные часы:
28
Программа дисциплины
Аннотация
Курс посвящён анализу видеопоследовательностей: от чтения сжатого видеопотока и подготовки фрагментов для нейросети до распознавания действий, сопровождения объектов, сегментации и обнаружения событий. Рассматривается, как временная структура данных влияет на постановку задачи, выбор архитектуры, обучение и оценку качества.
Первые занятия раскрывают устройство видеосигнала, контейнеров и кодеков, порядок декодирования кадров и работу с временными метками. Затем изучаются пространственно-временные свёрточные сети, трансформеры для видео, методы сопоставления обнаруженных объектов и модели сегментации с памятью. Завершающая часть посвящена поиску событий во времени, совместному использованию изображения и звука и построению потоковой системы с ограниченной задержкой.
На семинарах студенты работают с FFmpeg, PyAV, OpenCV и PyTorch, проводят эксперименты с видеоданными и собирают прототипы видеоаналитики. Результаты оцениваются по качеству решения выбранной задачи, корректности обработки времени, скорости работы и воспроизводимости эксперимента.
Цель освоения дисциплины
- Сформировать понимание того, как кодирование, частота кадров и способ выборки видеоданных влияют на работу моделей машинного обучения.
- Научить выбирать и применять архитектуры для распознавания действий, сопровождения объектов, сегментации и локализации событий в видео.
- Сформировать навыки постановки воспроизводимых экспериментов с видеопоследовательностями и анализа ошибок во времени.
- Научить собирать и профилировать систему видеоаналитики с учётом требований к задержке, пропускной способности и памяти.
Планируемые результаты обучения
- Объяснять различия между контейнером и кодеком, постоянной и переменной частотой кадров, временными метками показа и декодирования; учитывать межкадровые зависимости при чтении видео.
- Извлекать кадры по временным меткам, формировать видеоклипы заданной длительности и частоты выборки, проверять порядок кадров и соответствие разметке.
- Создавать загрузчик видеоданных, применять согласованные преобразования ко всем кадрам клипа, сравнивать способы декодирования и передачи данных в модель.
- Объяснять устройство пространственно-временных свёрток и внимания в моделях видео; сопоставлять C3D, I3D, SlowFast, TimeSformer и Video Swin по способу обработки времени.
- Дообучать модель распознавания действий, выбирать способ объединения предсказаний по клипам и анализировать влияние длины клипа и частоты выборки на результат.
- Собирать систему сопровождения нескольких объектов: сопоставлять обнаружения между кадрами, использовать модель движения и признаки внешнего вида, анализировать смены идентификаторов и разрывы траекторий.
- Применять методы сегментации объектов в видео, объяснять перенос масок и использование памяти, анализировать накопление ошибок и поведение при перекрытиях.
- Находить начало и окончание событий в длинном видео, выбирать метрики временной локализации и отделять ошибки границ от ошибок распознавания класса.
- Строить базовый метод поиска аномалий и анализировать ложные срабатывания; синхронизировать звук и видеоряд при совместном использовании модальностей.
- Оценивать качество на независимых видеозаписях, исключать попадание соседних фрагментов одной записи в обучающую и контрольную выборки.
- Профилировать декодирование, предобработку, вычисление модели и выдачу результата; измерять задержку, пропускную способность, потребление памяти и долю пропущенных кадров.
- Представлять работающий прототип, исходный код и отчёт с описанием данных, конфигурации эксперимента, метрик, ошибок и ограничений решения.
Содержание учебной дисциплины
- Видео как сигнал: кодеки, контейнеры и декодирование. Чтение и исследование видео в FFmpeg и PyAV.
- Подготовка видеоданных и эффективная загрузка. Загрузчик видеоклипов для обучения.
- Распознавание действий в видео. Эксперимент с моделью распознавания действий.
- Детекция и сопровождение нескольких объектов. Построение и оценка трекера.
- Сегментация объектов в видео. Перенос маски и сегментация с памятью.
- Локализация событий, аномалии и мультимодальность. Обнаружение событий на временной шкале.
- Видеоаналитика в реальном времени. Сборка и профилирование работающей системы.
Элементы контроля
- Домашние заданияРаботы по чтению и подготовке видеоданных, распознаванию действий, сопровождению объектов, сегментации и анализу событий. Каждая работа включает постановку задачи, реализацию, эксперимент и разбор результатов. Материалы работы: ноутбук либо репозиторий с инструкцией запуска; параметры эксперимента; таблицы или графики; примеры успешных и ошибочных предсказаний; письменные выводы. Контроль включает два домашних задания по темам семинаров. Вес каждого домашнего задания в итоговой оценке — 30%.
- Итоговый проектКонтроль включает итоговый проект. Вес проекта в итоговой оценке — 40%. Итоговая работа объединяет подготовку видеоданных, применение модели и измерение характеристик работающей системы. Результаты представляются в виде исходного кода, отчёта и демонстрации обработки видео. Разработка прототипа видеоаналитики для одной задачи: распознавание действий, сопровождение объектов, сегментация выбранного объекта либо обнаружение событий. В проекте связываются чтение видео, предобработка, модель, обработка предсказаний и выдача результата. В отчёте приводятся метрики прикладной задачи, p50/p95 сквозной задержки, пропускная способность и потребление памяти. Для потоковой обработки дополнительно учитываются пропуски кадров и поведение при перегрузке. Условия измерений и границы измеряемого интервала указываются явно. Представление результата: демонстрация прототипа, отчёт и ответы на вопросы о выбранных методах, полученных измерениях и ограничениях.
Промежуточная аттестация
- 2026/2027 2nd moduleИтог = 0,3 × ДЗ₁ + 0,3 × ДЗ₂ + 0,4 × П, где ДЗ₁ и ДЗ₂ — оценки за два домашних задания, П — оценка за итоговый проект.
Список литературы
Рекомендуемая основная литература
- Видеоинформатика. Передача и компьютерная обработка видеоинформации, Хромов, Л. И., 1991
- Обработка аудио- и видеоинформации - Паршин А. Ю. - Рязанский государственный радиотехнический университет им. В.Ф. Уткина - - - 2018 - русский - https://e.lanbook.com/book/168252 - ЛАНЬ - 168252
Рекомендуемая дополнительная литература
- Transformers for machine learning : a deep dive, Kamath, U., 2022
- Методы и средства обработки видеоинформации - Лычагин Н. И., Медников Ю. В. - Санкт-Петербургский государственный университет телекоммуникаций им. проф. М.А. Бонч-Бруевича - - - 2002 - русский - https://e.lanbook.com/book/381833 - ЛАНЬ - 381833