Магистратура
2024/2025
Глубинное обучение
Статус:
Курс обязательный (Финансовые технологии и анализ данных)
Направление:
01.04.02. Прикладная математика и информатика
Где читается:
Факультет компьютерных наук
Когда читается:
1-й курс, 3, 4 модуль
Формат изучения:
без онлайн-курса
Охват аудитории:
для своего кампуса
Прогр. обучения:
Финансовые технологии и анализ данных
Язык:
русский
Кредиты:
6
Программа дисциплины
Аннотация
Нейронные сети стали привычным инструментом для решения ряда задач (распознавание образов, обработка речи, автоматический перевод и множества других). В курсе будут разобраны теоретические и практические аспекты использования нейронных сетей.
Цель освоения дисциплины
- Овладеть теоретическими основами нейронных сетей
- Освоить пакет Pytorch
- Научиться решать прикладные задачи с помощью нейронных сетей
Планируемые результаты обучения
- Провести ряд экспериментов
- Проанализировать результаты
- Владеть теоретическими основами нейронных сетей
- Знать пакет Pytorch
- Уметь решать прикладные задачи с помощью нейронных сетей
Содержание учебной дисциплины
- Введение в глубинное обучение
- Обучение нейронных сетей. Алгоритм обратного распространения ошибки
- Функции активации. Инициализация весов
- Оптимизация. Регуляризация
- Сверточные нейронные сети
- Рекуррентные нейронные сети
- Механизм внимания, трансформеры
- Глубинное обучение и Computer Vision
- Глубинное обучение и Natural Language
- Processing
- Генеративные модели
Элементы контроля
- Домашнее задание “Weight-init”
- Домашнее задание “Dropout”
- Домашнее задание “Pytorch-basics”
- Домашнее задание “Batchnorm”
- Домашнее задание “Activations”
- Домашнее задание “Optimization”
- Домашнее задание “Transformer Attention”
- Домашнее задание “Letters”
- Домашнее задание “RNN Attention”
- Домашнее задание “VAE”
- Домашнее задание “Diffusion”
Промежуточная аттестация
- 2024/2025 4th module0.05 * Домашнее задание “Activations” + 0.05 * Домашнее задание “Batchnorm” + 0.1 * Домашнее задание “Diffusion” + 0.05 * Домашнее задание “Dropout” + 0.2 * Домашнее задание “Letters” + 0.1 * Домашнее задание “Optimization” + 0.1 * Домашнее задание “Pytorch-basics” + 0.1 * Домашнее задание “RNN Attention” + 0.1 * Домашнее задание “Transformer Attention” + 0.1 * Домашнее задание “VAE” + 0.05 * Домашнее задание “Weight-init”
Список литературы
Рекомендуемая основная литература
- Глубокое обучение : погружение в мир нейронных сетей, Николенко, С., 2018
- Гудфеллоу, Я. Глубокое обучение / Я. Гудфеллоу, И. Бенджио, А. Курвилль , перевод с английского А. А. Слинкина. — 2-е изд. — Москва : ДМК Пресс, 2018. — 652 с. — ISBN 978-5-97060-618-6. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/107901 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.
Рекомендуемая дополнительная литература
- Deep learning, Kelleher, J. D., 2019