Безопасность данных и конфиденциальность в ИИ

2026/2027

Статус: Маго-лего

Кто читает: Кафедра информационной безопасности киберфизических систем

Где читается: Московский институт электроники и математики им. А.Н. Тихонова

Когда читается: 3, 4 модуль

Охват аудитории: для своего кампуса

Преподаватели: Елистратов Андрей Алексеевич, Стародубов Константин Владимирович

Язык: русский

Кредиты: 6

Контактные часы: 48

Дополнительные материалы в LMS Задать вопрос

Аннотация

Курс посвящён угрозам конфиденциальности данных и методам их защиты на всех этапах жизненного цикла систем искусственного интеллекта — от сбора и подготовки обучающих выборок до эксплуатации и вывода моделей из эксплуатации. Дисциплина формирует целостное понимание того, как данные и обученные модели могут раскрывать чувствительную информацию и какими математическими, криптографическими, инженерными и организационно-правовыми средствами эти риски снижаются. В ходе изучения дисциплины рассматриваются атаки на конфиденциальность моделей машинного обучения (определение принадлежности, инверсия модели, извлечение обучающих данных, кража модели), дифференциальная приватность и алгоритм DP-SGD, федеративное обучение с защищённой агрегацией, криптографические методы (гомоморфное шифрование, защищённые многосторонние вычисления, доверенные среды исполнения), обезличивание и синтетические данные, а также конфиденциальность больших языковых моделей (утечки, инъекции в промпт, риски RAG, OWASP LLM Top 10). Курс имеет выраженную отраслевую направленность на финансовый сектор. Отдельные модули посвящены криптографии в ИИ и обработке информации ограниченного доступа: как с помощью ИИ обрабатывать банковскую тайну и персональные данные и, в особенности, как их обезличивать для целей обучения и совместной разработки моделей; применению ИИ в банках и построению системы защиты информации (СЗИ) для ИИ-систем, включая управление модельным риском. Нормативная часть опирается на актуальные документы Банка России: Кодекс этики в сфере разработки и применения ИИ на финансовом рынке (ИН-016-13/91 от 09.07.2025), Методические рекомендации по обеспечению информационной безопасности при разработке и применении ИИ (№ 3-МР от 16.06.2026) и Доклад «Применение искусственного интеллекта на финансовом рынке» (2025). Практическая часть ориентирована на приватности-аудит и проектирование защиты данных собственного ML-проекта, который может использоваться в качестве основы выпускной квалификационной работы.

Цель освоения дисциплины

Формирование у студентов компетенций по выявлению, количественной оценке и снижению рисков конфиденциальности данных в системах искусственного интеллекта, а также по проектированию технических, криптографических и организационных мер защиты данных в соответствии с актуальными требованиями регуляторов Российской Федерации.
Основные задачи – изучение модели угроз конфиденциальности данных и моделей на всех этапах жизненного цикла ИИ-системы; – освоение методов оценки утечки информации через модель (атаки определения принадлежности, инверсии, извлечения обучающих данных); – изучение дифференциальной приватности и приватного обучения (DP-SGD); – освоение распределённых и криптографических методов защиты данных (федеративное обучение, гомоморфное шифрование, MPC, TEE); – изучение методов обезличивания и генерации синтетических данных; – обеспечение конфиденциальности больших языковых и генеративных систем; – изучение особенностей применения криптографии в ИИ и обработки банковской тайны и ПДн, включая их обезличивание; – изучение применения ИИ в банковской сфере и построения СЗИ для ИИ-систем; – освоение нормативной базы Банка России, 152-ФЗ, режима банковской тайны и методических документов ФСТЭК России.

Планируемые результаты обучения

Описывает модель угроз конфиденциальности систем ИИ (NIST AI 100-2e, MITRE ATLAS)
Умеет проводить приватности-аудит модели, реализуя атаки утечки и оценивая риск раскрытия данных
Обучает модели с дифференциальной приватностью и оценивать компромисс «приватность — точность»
Проектирует федеративные и криптографически защищённые конвейеры обучения (HE, MPC, TEE)
Применяет методы обезличивания и синтеза данных, обезличивать банковскую тайну и ПДн для передачи в защищённый контур
Учитывает угрозы конфиденциальности LLM и RAG-систем и применять меры защиты (OWASP LLM Top 10)
Разрабатывает модель угроз безопасности информации системы ИИ и определять меры защиты по этапам жизненного цикла (№ 3-МР)
Проектирует СЗИ для банковской ИИ-системы с учётом управления модельным риском
Обосновывает соответствие ИИ-решения Кодексу этики и Методическим рекомендациям Банка России, требованиям 152-ФЗ и режиму банковской тайны

Содержание учебной дисциплины

Модуль 1. Введение. Модель угроз конфиденциальности в ИИ
Модуль 2. Атаки на конфиденциальность моделей машинного обучения
Модуль 3. Дифференциальная приватность
Модуль 4. Распределённые методы защиты данных: федеративное обучение
Модуль 5. Криптография в ИИ и защита банковской тайны
Модуль 6. Обезличивание, синтетические данные и минимизация
Модуль 7. Конфиденциальность больших языковых моделей и генеративного ИИ
Модуль 8. Применение ИИ в банковской сфере и построение СЗИ
Модуль 9. Регулирование ИИ на финансовом рынке: Кодекс этики и Методические рекомендации Банка России
Модуль 10. Итоговый проект

Элементы контроля

Лабораторные работы
При выполнении лабораторных работ и итогового проекта рекомендуется использование следующего программного обеспечения: – операционная система Linux, Windows или macOS; – Python 3.12 или выше; Jupyter / Google Colab; – PyTorch, TensorFlow; – Opacus, TensorFlow Privacy — дифференциально-приватное обучение; – Flower, PySyft — федеративное обучение; – TenSEAL (CKKS) — гомоморфное шифрование; библиотеки MPC; – ML Privacy Meter, Adversarial Robustness Toolbox (ART) — приватности-аудит; – инструменты обезличивания и генерации синтетических табличных данных; – Open WebUI, Ollama — для практикумов по конфиденциальности LLM и RAG; – при необходимости допускается использование облачных сервисов и локальных виртуальных машин.
Индивидуальное задание
Контрольные работы
Предусмотрены контрольные работы по темам мер приватности и криптографии/регулирования.
Итоговый проект по проектированию защиты данных ИИ-системы
При выполнении лабораторных работ и итогового проекта рекомендуется использование следующего программного обеспечения: – операционная система Linux, Windows или macOS; – Python 3.12 или выше; Jupyter / Google Colab; – PyTorch, TensorFlow; – Opacus, TensorFlow Privacy — дифференциально-приватное обучение; – Flower, PySyft — федеративное обучение; – TenSEAL (CKKS) — гомоморфное шифрование; библиотеки MPC; – ML Privacy Meter, Adversarial Robustness Toolbox (ART) — приватности-аудит; – инструменты обезличивания и генерации синтетических табличных данных; – Open WebUI, Ollama — для практикумов по конфиденциальности LLM и RAG; – при необходимости допускается использование облачных сервисов и локальных виртуальных машин.
Анализ и обсуждение архитектурных и регуляторных решений

Промежуточная аттестация

2026/2027 4th module
0.1 * Анализ и обсуждение архитектурных и регуляторных решений + 0.2 * Индивидуальное задание + 0.3 * Итоговый проект по проектированию защиты данных ИИ-системы + 0.4 * Лабораторные работы

Список литературы

Авторы

Стародубов Станислав Витальевич
Иванов Федор Ильич
Елистратов Андрей Алексеевич

Программа дисциплины