Машинное обучение и безопасность систем

Магистратура 2025/2026

Статус: Курс обязательный (Информационная безопасность и технологии искусственного интеллекта)

Где читается: Московский институт электроники и математики им. А.Н. Тихонова

Когда читается: 1-й курс, 3, 4 модуль

Охват аудитории: для своего кампуса

Преподаватели: Силаев Юрий Владимирович

Язык: русский

Кредиты: 6

Контактные часы: 80

Дополнительные материалы в LMS Задать вопрос

Аннотация

Первая часть курса рассматривает машинное обучение для задач информационной безопасности. Изучается применение базовых методов машинного обучения: линейный классификатор сетевого трафика, нейросетевые методы поиска аномалий, NLP-модели детекции фишинга. Последовательно вводится логистическая регрессия, деревья решений, ансамбли Random Forest и XGBoost, нейронные сети, автоэнкодеры, TF-IDF, RNN/LSTM, BERT. Отдельное внимание уделяется специфике ИБ-данных: дисбалансу классов, асимметрии стоимости ошибок, интерпретируемости решений и поиску аномалий без размеченных данных. Вторая часть курса посвящена безопасности машинного обучения. Изучаются состязательные атаки, отравления обучающих данных, кража моделей, атаки на языковые модели и конфиденциальность. Курс завершается изучением алгоритмических защит: состязательного обучения и дифференциальной приватности. Практическая часть, ориентированная на атаки и защиты, реализуется студентами на языке программирования Python и с помощью библиотек и фреймворков: sklearn, PyTorch, HuggingFace (transformers), xgboost, SHAP, Jupyter.

Цель освоения дисциплины

Сформировать системное понимание базовых методов машинного обучения и сценариев их применения в задачах информационной безопасности: поиск аномалий, анализ текстов threat intelligence, детектирование сетевых атак, вредоносного ПО и фишинга.
Сформировать практические навыки построения полного ML-пайплайна на ИБ-данных: предобработка, обучение, корректная валидация, выбор метрик с учётом дисбаланса и асимметрии стоимости ошибок, интерпретация решений.
Сформировать понимание ключевых классов атак на ML-модели (Evasion, Poisoning, Extraction, Membership Inference, Prompt Injection) и навыки их самостоятельной реализации.
Сформировать навыки применения алгоритмических методов защиты (состязательного обучения и дифференциальной приватности) и понимание границ их применимости.

Планируемые результаты обучения

Определяет основные понятия и типы задач машинного обучения.
Объясняет специфику ML-задач в контексте ИБ: дисбаланс классов, цена ошибок, сдвиг данных.
Понимает роль корректной валидации и воспроизводимости эксперимента.
Обучает и интерпретирует линейные модели и логистическую регрессию, применяет регуляризацию.
Подбирает метрики под задачу (в т.ч. при дисбалансе): ROC-AUC, PR-AUC, F1, precision/recall.
Настраивает пороги принятия решений и оценивает влияние порога на риск FP/FN.
Понимает калибровку вероятностей и ограничения «вероятностной интерпретации» модели.
Выполняет предварительную обработку данных и анализ качества (пропуски, выбросы, дубликаты, несогласованности).
Выявляет риски утечек признаков/разметки и ошибок разбиения (data leakage).
Выбирает протокол валидации (train, val, test, CV) под свойства данных.
Проводит визуализацию и формулирует проверяемые гипотезы о данных.
Обучает деревья решений, контролирует переобучение (глубина, минимальные выборки, pruning, регуляризация гиперпараметрами).
Использует ансамбли на основе деревьев (Random Forest, градиентный бустинг) на уровне применения и интерпретации результатов.
Анализирует важность признаков и ограничения стандартных importance-оценок.
Объясняет базовые компоненты нейросетей и процесс обучения (loss, оптимизация, регуляризация).
Диагностирует переобучение и нестабильность обучения; применяет базовые техники стабилизации (dropout, weight decay, early stopping).
Понимает риски «запоминания» и влияние качества данных на надежность модели.
Применяет базовые представления текста (мешок слов, TF-IDF) и эмбеддинги на уровне использования.
Решает задачи классификации, поиска, кластеризации для текстов и логов, интерпретирует качество.
Понимает типовые источники ошибок в NLP-пайплайне (шум разметки, доменная специфика, дрейф словаря).
Выполняет базовую предобработку изображений и обучает простые модели классификации.
Понимает типовые причины ошибок моделей на изображениях и ограничения переносимости на новые условия съемки или данные.
Применяет методы интерпретации (SHAP/LIME) и анализ ошибок модели (error analysis).
Использует интерпретацию как инструмент проверки адекватности признаков, выявления утечек и неустойчивых закономерностей.
Формулирует выводы и рекомендации по улучшению данных/модели на основе интерпретации.
Оценивает устойчивость качества к шуму, выбросам и сдвигу данных; проектирует стресс-тесты.
Понимает классы уязвимостей ML-моделей (evasion/poisoning на концептуальном уровне) и базовые меры снижения рисков.
Понимает риски утечек приватности (на уровне постановки и оценки) и подходы к ограничению утечек (регуляризация, контроль информации, агрегирование).

Содержание учебной дисциплины

1 Введение в дисциплину
2 Эксплоративный анализ данных
3 Линейные модели
4 Решающие деревья и ансамбли
5 Нейронные сети
6 Анализ текстов и логов
7 Работа с изображениями
8 Интерпретируемость моделей
9 Робастность, приватность и уязвимости моделей

Элементы контроля

Контрольная работа
Домашнее задание
Проектное задание
Экзамен
Итоговый экзамен по дисциплине проводится в форме письменного экзамена в конце изучения курса в присутствии преподавателя. На экзамене студент получает формуляр с заданиями экзамена, которые должен решить и сдать на проверку в течение 2 (двух) академических часов.

Промежуточная аттестация

2025/2026 4th module
0.3 * Домашнее задание + 0.2 * Экзамен + 0.3 * Проектное задание + 0.2 * Контрольная работа

Список литературы

Авторы

Евсютин Олег Олегович
Андреева Дарья Александровна
Силаев Юрий Владимирович
Аксенова Ольга Вениаминовна

Программа дисциплины