Магистратура 2024/2025

Нейронные сети и глубокое обучение

Статус: Курс обязательный (Магистр по наукам о данных)

Кто читает: Департамент больших данных и информационного поиска

Когда читается: 2-й курс, 2, 3 модуль

Охват аудитории: для своего кампуса

Преподаватели: Блуменау Марк Ильич, Саночкин Юрий Ильич

Язык: английский

Course Syllabus

Abstract

The course "Neural Networks and Deep Learning" is devoted to the study of neural network models and their application to solve applied problems. During the course, students will master the skills of deploying neural networks for image and text analysis, preparing and processing data for training, evaluating the quality of models, and diagnosing problems. Special attention is paid to practical aspects: students will learn how to demonstrate the work of neural networks to users without technical training. The course includes lectures and seminars covering a wide range of topics from the basics of gradient descent and activation functions to modern architectures such as convolutional and recurrent networks, as well as transformers and multimodal models. Assessment of knowledge is carried out through practical tasks, participation in competitions and an exam.

Learning Objectives

• Понимать и уметь применять различные варианты алгоритма градиентного спуска и подходы к регуляризации нейронной сети.
• Уметь разрабатывать и обучать полносвязные и сверточные нейронные сети для анализа изображений.
• Знать и использовать методы и метрики для оценки качества моделей и подбора гиперпараметров.
• Уметь строить и обучать рекуррентные нейросети для обработки текстовых данных.
• Понимать и реализовывать механизмы внимания и трансформеров в нейросетевых архитектурах.
• Владеть навыками предобработки данных и использования предобученных моделей для дообучения.
• Знать методы работы с мультимодальными моделями для интеграции данных из различных источников.
• Уметь использовать библиотеки глубокого обучения, такие как PyTorch, для реализации нейросетевых решений.
• Уметь диагностировать и решать проблемы, возникающие при обучении и эксплуатации нейросетевых моделей.

Expected Learning Outcomes

• Применяет алгоритмы градиентного спуска и подходы к регуляризации для обучения моделей.
• Разрабатывает и обучает полносвязные и сверточные нейронные сети для анализа изображений.
• Использует метрики и методы для оценки качества моделей и подбора гиперпараметров.
• Строит и обучает рекуррентные нейросети для обработки и анализа текстовых данных.
• Реализует механизмы внимания и трансформеров в нейросетевых архитектурах.
• Предобрабатывает данные и использует предобученные модели для дообучения.
• Конструирует и обучает мультимодальные модели для интеграции данных из различных источников.
• Применяет библиотеки глубокого обучения, такие как PyTorch, для реализации решений.
• Диагностирует и решает проблемы, возникающие при обучении и эксплуатации нейросетевых моделей.

Course Contents

• Градиент спуск и его варианты.
• Библиотеки для глубокого обучения. Знакомство с pytorch.
• История появления нейросетей. Предмет глубоко обучения. Полносвязная нейронная сеть.
• Построение линейной модели и простейшей нейросети. Поведение различных функций активации.
• Функции потерь. Подходы к регуляризации.
• Реализация алгоритма градиентного спуска.
• Инициализация весов. Предобученные модели. Подходы к дообучению.
• Обучение нейросети.
• Дифференцирование композиции. Алгоритм обратного распространения ошибки.
• Разбор элементов алгоритма обратного распространения ошибки.
• Метрики. Подбор гиперпараметров.
• Реализация распространенных метрик.
• Подготовка данных и создание сверточной сети.
• Разбор contrastive и triplet loss.
• Метрические методы.
• Знакомство с токенизаторами, построение рекурентной архитектуры.
• Механизм внимания. Трансформеры.
• Обучение на cpu и gpu. Распределенное обучение.
• Реализация механизма внимания.
• Работа с изображениями. Сверточные сети (CNN).
• Мультимодальные модели.
• Конструирование простейшей архитектуры для работы с несколькими модальностями.
• Работа с текстом. Рекуррентные сети (RNN).
• Получение диагностической информации по железу. Знакомство с библиотекой для распределенного обучения.

Assessment Elements

• Домашние задания
• Соревнование 1
  На основе предоставленного датасета нужно будет обучить нейросеть и поучаствовать в соревновании на лучшую модель.
• Соревнование 2
  На основе предоставленного датасета нужно будет обучить нейросеть и поучаствовать в соревновании на лучшую модель.
• Экзамен
  Экзамен представляет собой письменную проверочную работу на знание теоретического материала, который давался на лекциях.

Interim Assessment

• 2024/2025 3rd module
  0.2 * Домашние задания + 0.2 * Соревнование 1 + 0.4 * Соревнование 2 + 0.2 * Экзамен

Bibliography

Recommended Core Bibliography

• Aurélien Géron. (2019). Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow : Concepts, Tools, and Techniques to Build Intelligent Systems: Vol. Second edition. O’Reilly Media.
• Ian Goodfellow and Yoshua Bengio and Aaron Courville. Deep Learning, 2016. URL: http://www.deeplearningbook.org

Recommended Additional Bibliography

• 9780262257053 - Sutton, Richard S.; Barto, Andrew G. - Reinforcement Learning : An Introduction - 1998 - A Bradford Book - http://search.ebscohost.com/login.aspx?direct=true&db=nlebk&AN=1094 - nlebk - 1094
• 9781789958294 - Raschka, Sebastian; Mirjalili, Vahid - Python Machine Learning : Machine Learning and Deep Learning with Python, Scikit-learn, and TensorFlow 2, 3rd Edition - 2019 - Packt Publishing - http://search.ebscohost.com/login.aspx?direct=true&db=nlebk&AN=2329991 - nlebk - 2329991
• Hastie, T., Tibshirani, R., & Friedman, J. H. (2009). The Elements of Statistical Learning : Data Mining, Inference, and Prediction (Vol. Second edition, corrected 7th printing). New York: Springer. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=277008
• Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2017). ImageNet Classification with Deep Convolutional Neural Networks. Communications of the ACM, 60(6), 84–90. https://doi.org/10.1145/3065386
• Neural Networks and Deep Learning - CCBY4_068 - Michael Nielson - 2022 - Open Educational Resources: libretexts.org - https://ibooks.ru/bookshelf/390854 - 390854 - iBOOKS

Authors

• Ахмедова Гюнай Интигам кызы