Магистратура 2025/2026

Глубинное обучение

Статус: Курс обязательный (Финансовые технологии и анализ данных)

Кто читает: Базовая кафедра ПАО Сбербанк «Финансовые технологии и анализ данных»

Где читается: Факультет компьютерных наук

Когда читается: 1-й курс, 3, 4 модуль

Охват аудитории: для своего кампуса

Преподаватели: Деркач Денис Александрович, Тарасов Дмитрий Юрьевич

Язык: русский

Кредиты: 6

Контактные часы: 80

Программа дисциплины

Аннотация

Нейронные сети стали привычным инструментом для решения ряда задач (распознавание образов, обработка речи, автоматический перевод и множества других). В курсе будут разобраны теоретические и практические аспекты использования нейронных сетей.

Цель освоения дисциплины

• Овладеть теоретическими основами нейронных сетей
• Освоить пакет Pytorch
• Научиться решать прикладные задачи с помощью нейронных сетей

Планируемые результаты обучения

• Провести ряд экспериментов
• Проанализировать результаты
• Владеть теоретическими основами нейронных сетей
• Знать пакет Pytorch
• Уметь решать прикладные задачи с помощью нейронных сетей

Содержание учебной дисциплины

• Введение в глубинное обучение
• Обучение нейронных сетей. Алгоритм обратного распространения ошибки
• Функции активации. Задачи и функции потерь. Инициализация весов. Lottery Ticket Hypothesis
• Оптимизация
• Регуляризация
• Сверточные сети
• Задачи компьютерного зрения
• Генеративные модели
• Обработка естественного языка
• Рекуррентные сети
• Предобученные трансформеры в обработке естественного языка. Самообучение. Большие языковые модели
• Законы масштабирования (Scaling Laws). Обучение в контексте. Масштабирование во время тестирования (модели мышления). PEFT
• Вызов функций. Агентные паттерны. Наблюдаемость. Model Context Protocol (MCP). Retrieval-Augmented Generation (RAG)
• Визуальные трансформеры. Self-supervised, contrastive learning
• Мультимодальные модели

Элементы контроля

• Домашние задания
• Контрольная работа
  Контрольная работа по материалу, пройденному на занятиях в течение 3 учебного модуля
• Экзамен
  Экзамен по всему материалу, пройденному в рамках освоения дисциплины

Промежуточная аттестация

• 2025/2026 4th module
  0.8 * Домашние задания + 0.1 * Контрольная работа + 0.1 * Экзамен

Список литературы

Рекомендуемая основная литература

• Глубокое обучение : погружение в мир нейронных сетей, Николенко, С., 2018
• Гудфеллоу, Я. Глубокое обучение / Я. Гудфеллоу, И. Бенджио, А. Курвилль , перевод с английского А. А. Слинкина. — 2-е изд. — Москва : ДМК Пресс, 2018. — 652 с. — ISBN 978-5-97060-618-6. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/107901 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.

Рекомендуемая дополнительная литература

• Deep learning, Kelleher, J. D., 2019

Авторы

• Емашева Валерия Анатольевна
• Деркач Денис Александрович
• Тарасов Дмитрий Юрьевич
• Яковлева Илона Александровна