• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
2026/2027

Продвинутая видеоаналитика

ID 1134945

Статус: Маго-лего
Когда читается: 2 модуль
Охват аудитории: для своего кампуса
Язык: русский
Кредиты: 3
Контактные часы: 28

Программа дисциплины

Аннотация

Курс посвящён анализу видеопоследовательностей: от чтения сжатого видеопотока и подготовки фрагментов для нейросети до распознавания действий, сопровождения объектов, сегментации и обнаружения событий. Рассматривается, как временная структура данных влияет на постановку задачи, выбор архитектуры, обучение и оценку качества. Первые занятия раскрывают устройство видеосигнала, контейнеров и кодеков, порядок декодирования кадров и работу с временными метками. Затем изучаются пространственно-временные свёрточные сети, трансформеры для видео, методы сопоставления обнаруженных объектов и модели сегментации с памятью. Завершающая часть посвящена поиску событий во времени, совместному использованию изображения и звука и построению потоковой системы с ограниченной задержкой. На семинарах студенты работают с FFmpeg, PyAV, OpenCV и PyTorch, проводят эксперименты с видеоданными и собирают прототипы видеоаналитики. Результаты оцениваются по качеству решения выбранной задачи, корректности обработки времени, скорости работы и воспроизводимости эксперимента.
Цель освоения дисциплины

Цель освоения дисциплины

  • Сформировать понимание того, как кодирование, частота кадров и способ выборки видеоданных влияют на работу моделей машинного обучения.
  • Научить выбирать и применять архитектуры для распознавания действий, сопровождения объектов, сегментации и локализации событий в видео.
  • Сформировать навыки постановки воспроизводимых экспериментов с видеопоследовательностями и анализа ошибок во времени.
  • Научить собирать и профилировать систему видеоаналитики с учётом требований к задержке, пропускной способности и памяти.
Планируемые результаты обучения

Планируемые результаты обучения

  • Объяснять различия между контейнером и кодеком, постоянной и переменной частотой кадров, временными метками показа и декодирования; учитывать межкадровые зависимости при чтении видео.
  • Извлекать кадры по временным меткам, формировать видеоклипы заданной длительности и частоты выборки, проверять порядок кадров и соответствие разметке.
  • Создавать загрузчик видеоданных, применять согласованные преобразования ко всем кадрам клипа, сравнивать способы декодирования и передачи данных в модель.
  • Объяснять устройство пространственно-временных свёрток и внимания в моделях видео; сопоставлять C3D, I3D, SlowFast, TimeSformer и Video Swin по способу обработки времени.
  • Дообучать модель распознавания действий, выбирать способ объединения предсказаний по клипам и анализировать влияние длины клипа и частоты выборки на результат.
  • Собирать систему сопровождения нескольких объектов: сопоставлять обнаружения между кадрами, использовать модель движения и признаки внешнего вида, анализировать смены идентификаторов и разрывы траекторий.
  • Применять методы сегментации объектов в видео, объяснять перенос масок и использование памяти, анализировать накопление ошибок и поведение при перекрытиях.
  • Находить начало и окончание событий в длинном видео, выбирать метрики временной локализации и отделять ошибки границ от ошибок распознавания класса.
  • Строить базовый метод поиска аномалий и анализировать ложные срабатывания; синхронизировать звук и видеоряд при совместном использовании модальностей.
  • Оценивать качество на независимых видеозаписях, исключать попадание соседних фрагментов одной записи в обучающую и контрольную выборки.
  • Профилировать декодирование, предобработку, вычисление модели и выдачу результата; измерять задержку, пропускную способность, потребление памяти и долю пропущенных кадров.
  • Представлять работающий прототип, исходный код и отчёт с описанием данных, конфигурации эксперимента, метрик, ошибок и ограничений решения.
Содержание учебной дисциплины

Содержание учебной дисциплины

  • Видео как сигнал: кодеки, контейнеры и декодирование. Чтение и исследование видео в FFmpeg и PyAV.
  • Подготовка видеоданных и эффективная загрузка. Загрузчик видеоклипов для обучения.
  • Распознавание действий в видео. Эксперимент с моделью распознавания действий.
  • Детекция и сопровождение нескольких объектов. Построение и оценка трекера.
  • Сегментация объектов в видео. Перенос маски и сегментация с памятью.
  • Локализация событий, аномалии и мультимодальность. Обнаружение событий на временной шкале.
  • Видеоаналитика в реальном времени. Сборка и профилирование работающей системы.
Элементы контроля

Элементы контроля

  • неблокирующий Домашние задания
    Работы по чтению и подготовке видеоданных, распознаванию действий, сопровождению объектов, сегментации и анализу событий. Каждая работа включает постановку задачи, реализацию, эксперимент и разбор результатов. Материалы работы: ноутбук либо репозиторий с инструкцией запуска; параметры эксперимента; таблицы или графики; примеры успешных и ошибочных предсказаний; письменные выводы. Контроль включает два домашних задания по темам семинаров. Вес каждого домашнего задания в итоговой оценке — 30%.
  • неблокирующий Итоговый проект
    Контроль включает итоговый проект. Вес проекта в итоговой оценке — 40%. Итоговая работа объединяет подготовку видеоданных, применение модели и измерение характеристик работающей системы. Результаты представляются в виде исходного кода, отчёта и демонстрации обработки видео. Разработка прототипа видеоаналитики для одной задачи: распознавание действий, сопровождение объектов, сегментация выбранного объекта либо обнаружение событий. В проекте связываются чтение видео, предобработка, модель, обработка предсказаний и выдача результата. В отчёте приводятся метрики прикладной задачи, p50/p95 сквозной задержки, пропускная способность и потребление памяти. Для потоковой обработки дополнительно учитываются пропуски кадров и поведение при перегрузке. Условия измерений и границы измеряемого интервала указываются явно. Представление результата: демонстрация прототипа, отчёт и ответы на вопросы о выбранных методах, полученных измерениях и ограничениях.
Промежуточная аттестация

Промежуточная аттестация

  • 2026/2027 2nd module
    Итог = 0,3 × ДЗ₁ + 0,3 × ДЗ₂ + 0,4 × П, где ДЗ₁ и ДЗ₂ — оценки за два домашних задания, П — оценка за итоговый проект.
Список литературы

Список литературы

Рекомендуемая основная литература

  • Видеоинформатика. Передача и компьютерная обработка видеоинформации, Хромов, Л. И., 1991
  • Обработка аудио- и видеоинформации - Паршин А. Ю. - Рязанский государственный радиотехнический университет им. В.Ф. Уткина - - - 2018 - русский - https://e.lanbook.com/book/168252 - ЛАНЬ - 168252

Рекомендуемая дополнительная литература

  • Transformers for machine learning : a deep dive, Kamath, U., 2022
  • Методы и средства обработки видеоинформации - Лычагин Н. И., Медников Ю. В. - Санкт-Петербургский государственный университет телекоммуникаций им. проф. М.А. Бонч-Бруевича - - - 2002 - русский - https://e.lanbook.com/book/381833 - ЛАНЬ - 381833

Авторы

  • Копылов Иван Станиславович