Магистратура
2025/2026
Нейронные сети и глубокое обучение
Статус:
Курс обязательный (Прикладные нейросетевые технологии)
Где читается:
Факультет компьютерных наук
Когда читается:
2-й курс, 2, 3 модуль
Охват аудитории:
для своего кампуса
Преподаватели:
Блуменау Марк Ильич
Язык:
английский
Кредиты:
6
Контактные часы:
48
Course Syllabus
Abstract
The course "Neural Networks and Deep Learning" is devoted to the study of neural network models and their application to solve applied problems. During the course, students will master the skills of deploying neural networks for image and text analysis, preparing and processing data for training, evaluating the quality of models, and diagnosing problems. Special attention is paid to practical aspects: students will learn how to demonstrate the work of neural networks to users without technical training. The course includes lectures and seminars covering a wide range of topics from the basics of gradient descent and activation functions to modern architectures such as convolutional and recurrent networks, as well as transformers and multimodal models. Assessment of knowledge is carried out through practical tasks, participation in competitions and an exam.
Learning Objectives
- Понимать и уметь применять различные варианты алгоритма градиентного спуска и подходы к регуляризации нейронной сети.
- Уметь разрабатывать и обучать полносвязные и сверточные нейронные сети для анализа изображений.
- Знать и использовать методы и метрики для оценки качества моделей и подбора гиперпараметров.
- Уметь строить и обучать рекуррентные нейросети для обработки текстовых данных.
- Понимать и реализовывать механизмы внимания и трансформеров в нейросетевых архитектурах.
- Владеть навыками предобработки данных и использования предобученных моделей для дообучения.
- Знать методы работы с мультимодальными моделями для интеграции данных из различных источников.
- Уметь использовать библиотеки глубокого обучения, такие как PyTorch, для реализации нейросетевых решений.
- Уметь диагностировать и решать проблемы, возникающие при обучении и эксплуатации нейросетевых моделей.
Expected Learning Outcomes
- Применяет алгоритмы градиентного спуска и подходы к регуляризации для обучения моделей.
- Разрабатывает и обучает полносвязные и сверточные нейронные сети для анализа изображений.
- Использует метрики и методы для оценки качества моделей и подбора гиперпараметров.
- Строит и обучает рекуррентные нейросети для обработки и анализа текстовых данных.
- Реализует механизмы внимания и трансформеров в нейросетевых архитектурах.
- Предобрабатывает данные и использует предобученные модели для дообучения.
- Конструирует и обучает мультимодальные модели для интеграции данных из различных источников.
- Применяет библиотеки глубокого обучения, такие как PyTorch, для реализации решений.
- Диагностирует и решает проблемы, возникающие при обучении и эксплуатации нейросетевых моделей.
Course Contents
- Градиент спуск и его варианты.
- История появления нейросетей. Предмет глубоко обучения. Полносвязная нейронная сеть.
- Функции потерь. Подходы к регуляризации.
- Инициализация весов. Предобученные модели. Подходы к дообучению.
- Разбор элементов алгоритма обратного распространения ошибки.
- Метрики. Подбор гиперпараметров.
- Реализация распространенных метрик.
- Работа с изображениями. Сверточные сети (CNN).
- Метрические методы.
- Работа с текстом. Рекуррентные сети (RNN).
- Механизм внимания. Трансформеры.
- Реализация механизма внимания.
- Обучение на cpu и gpu. Распределенное обучение.
- Мультимодальные модели.
Interim Assessment
- 2025/2026 3rd module0.2 * Экзамен + 0.2 * Соревнование 1 + 0.4 * Соревнование 2 + 0.2 * Домашние задания
Bibliography
Recommended Core Bibliography
- Aurélien Géron. (2019). Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow : Concepts, Tools, and Techniques to Build Intelligent Systems: Vol. Second edition. O’Reilly Media.
- Ian Goodfellow and Yoshua Bengio and Aaron Courville. Deep Learning, 2016. URL: http://www.deeplearningbook.org
Recommended Additional Bibliography
- 9780262257053 - Sutton, Richard S.; Barto, Andrew G. - Reinforcement Learning : An Introduction - 1998 - A Bradford Book - http://search.ebscohost.com/login.aspx?direct=true&db=nlebk&AN=1094 - nlebk - 1094
- 9781789958294 - Raschka, Sebastian; Mirjalili, Vahid - Python Machine Learning : Machine Learning and Deep Learning with Python, Scikit-learn, and TensorFlow 2, 3rd Edition - 2019 - Packt Publishing - http://search.ebscohost.com/login.aspx?direct=true&db=nlebk&AN=2329991 - nlebk - 2329991
- Hastie, T., Tibshirani, R., & Friedman, J. H. (2009). The Elements of Statistical Learning : Data Mining, Inference, and Prediction (Vol. Second edition, corrected 7th printing). New York: Springer. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=277008
- Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2017). ImageNet Classification with Deep Convolutional Neural Networks. Communications of the ACM, 60(6), 84–90. https://doi.org/10.1145/3065386
- Neural Networks and Deep Learning - CCBY4_068 - Michael Nielson - 2022 - Open Educational Resources: libretexts.org - https://ibooks.ru/products/390854 - 390854 - iBOOKS