Основы MLSecOps

Магистратура 2025/2026

Статус: Курс обязательный (Информационная безопасность и технологии искусственного интеллекта)

Кто читает: Кафедра информационной безопасности киберфизических систем

Где читается: Московский институт электроники и математики им. А.Н. Тихонова

Когда читается: 2-й курс, 2, 3 модуль

Охват аудитории: для своего кампуса

Преподаватели: Минченков Виктор Олегович

Язык: русский

Кредиты: 6

Дополнительные материалы в LMS Задать вопрос

Аннотация

Курс «MLSecOps: Безопасность машинного обучения от разработки до эксплуатации» направлен на освоение стратегий защиты ML-систем от киберугроз на всех этапах их жизненного цикла. Участники погрузятся в методологию MLSecOps, которая объединяет принципы DevOps, безопасности данных и управления рисками, чтобы минимизировать уязвимости моделей и инфраструктуры. Студенты научатся анализировать цепочки атак с помощью матрицы MITRE ATLAS, автоматизировать ML-конвейеры с помощью MLOps и соблюдать регуляторные требования, что критично для корпоративной и промышленной реализации AI. Ключевые темы включают автоматизацию ML-конвейеров через MLOps, что позволяет стандартизировать процессы и сократить человеческий фактор, а также непрерывный мониторинг для оперативного выявления уязвимостей. Курс формирует навыки анализа цепочек атак, выбора безопасных фреймворков и внедрения многоуровневой защиты данных. По окончании студенты смогут проектировать устойчивые к угрозам ML-системы, обеспечивать их прозрачность и доверие пользователей, а также адаптироваться к динамике киберугроз в сфере искусственного интеллекта. В целом, курс дает комплексное понимание того, как обеспечить безопасность ML-моделей на всех этапах их жизненного цикла и как реализовать принципы MLSecOps в реальных проектах.

Цель освоения дисциплины

Освоение стратегий защиты ML-систем от киберугроз на всех этапах их жизненного цикла
Научиться анализировать цепочки атак с помощью матрицы MITRE ATLAS, автоматизировать ML-конвейеры с помощью MLOps и соблюдать регуляторные требования
Формирование навыков анализа цепочек атак, выбора безопасных фреймворков и внедрения многоуровневой защиты данных
Модуль 2 (DevSecOps), темы 1.1 - 1.4; Модуль 3 (MLSecOps), темы 2.1 - 2.6

Планируемые результаты обучения

Знает основную терминологию DevOps DevSecOps, объясняет сокращения SCA, SAST , IAST, DAST, CS , SCM и т.д.
Называет состав практик DevSecOps
Описывает безопасный жизненный цикл разработки (SSDLC): этапы, контрольные точки.
Анализирует Software Composition Analysis (SCA) в CI/CD pipeline
Умеет интегрировать инструменты безопасности в конвейер сборки
Определяет цели, ключевые принципы, место MLSecOps в общей архитектуре кибербезопасности
Называет основные угрозы и уязвимости в ML и LLM, ущерб от ML-инцидентов
Умеет примененять статистические методы для анализа данных безопасности
Называет opensource инструменты MLSecOps
Распознает уязвимости в интеграции LLM с внешними системами
Называет современные инструменты и технологии MLSec

Содержание учебной дисциплины

1.1. Безопасный жизненный цикл разработки
1.2. Управление уязвимостями (дефектами). Vulnerability Management VMS ASOC (можно на примере dojoDojo)
1.3. Проверка кода на предмет внедрения вредоносного программного обеспечения через цепочки поставок
1.4. Безопасность в продуктовой среде и окружении ПО
2.1. Введение в MLSecOps и LLMSecOps
2.2. Основы анализа больших данных в MLSecOps
2.3. Угрозы и Риски
2.4. OWASP TOP-10 угроз в MLSecOps и LLMSecOps и рекомендуемые методы защиты
2.5. Нормативно-правовое регулирование MLSecOps. Этичное применение ИИ на предприятиях
2.6. Практики применения ML для реализации атак на модальности

Элементы контроля

Лабораторные работы 1
Тесты 1
Лабораторные работы 2
Тесты 2

Промежуточная аттестация

2025/2026 3rd module
0.24 * Лабораторные работы 1 + 0.36 * Лабораторные работы 2 + 0.16 * Тесты 1 + 0.24 * Тесты 2

Список литературы

Авторы

Аксенова Ольга Вениаминовна
Башун Владимир Владимирович
Минченков Виктор Олегович

Программа дисциплины