Бакалавриат
2024/2025
Глубинное обучение 1
ID 793006
Лучший по критерию «Полезность курса для Вашей будущей карьеры»
Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»
Лучший по критерию «Новизна полученных знаний»
Статус:
Курс по выбору (Прикладная математика и информатика)
Направление:
01.03.02. Прикладная математика и информатика
Где читается:
Факультет компьютерных наук
Когда читается:
3-й курс, 2, 3 модуль
Формат изучения:
с онлайн-курсом
Онлайн-часы:
20
Охват аудитории:
для своего кампуса
Преподаватели:
Алиев Мишан Хаммад оглы,
Беляев Артём Русланович,
Грицаев Тимофей Григорьевич,
Пирогов Вячеслав Григорьевич,
Шипилов Фома Александрович
Язык:
английский
Кредиты:
4
Контактные часы:
48
Course Syllabus
Abstract
The course serves as an in-depth introduction to deep learning -- one of the most rapidly developing fields of machine learning. The studentswill learn the basic working principles of neural network architectures that are in widespread use today. he course has a clear practical focus; students are expected to implement and train neural networks in Python programming language using PyTorch framework. The course covers basic computer vision and natural language processing tasks, introduction to generative models, self-supervised learning, and model optimization and deployment.
Learning Objectives
- Understand the operating principle and be able to train the following types of neural networks: fully connected, convolutional, recurrent, and transformers.
- Proficiency in using the PyTorch framework for training neural networks.
- To understand the various tasks that can be solved using deep learning.
Expected Learning Outcomes
- Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.
- The ability to process data and create pipelines for training neural networks.
Course Contents
- Графы вычислений, полносвязные нейронные сети.
- Оптимизация нейронных сетей.
- Сверточные нейронные сети
- Современные сверточные архитектуры
- Задачи компьютерного зрения
- Обработка текстов (энкодинги, эмбеддинги)
- Рекуррентные нейронные сети, обработка текстов
- Архитектура трансформера
- Применения трансформеров в компьютерном зрении
- Self-supervision, BERT
- Дистилляция, квантизация, прунинг
- Состязательные атаки
- Generative models
Assessment Elements
- БДЗ 1 (Большое домашнее задание)Классификация изображений, формат соревнования
- БДЗ 2 (Большое домашнее задание)Машинный перевод, формат соревнования
- МДЗ 1 (Маленькое домашнее задание)Обучение нейронных сетей на numpy, полносвязные нейронные сети (20 баллов)
- МДЗ 2 (Маленькое домашнее задание)Сверточные нейронные сети (10 баллов)
- МДЗ 3 (Маленькое домашнее задание)Рекуррентные нейронные сети (15 баллов)
- МДЗ 4 (Маленькое домашнее задание)Генеративно-состязательные сети (10 баллов)
- МДЗ 5 (Маленькое домашнее задание)TBA (10 баллов)
- МДЗ 6 (Маленькое домашнее задание)TBA (10 баллов)
- ПР 1 (Проверочная работа)Полносвязные нейронные сети, оптимизация нейронных сетей
- ПР 2 (Проверочная работа)Обработка изображений, сверточные нейронные сети
- ПР 3 (Проверочная работа)Обработка текстов, рекуррентные нейронные сети, архитектура трансформера
- ПР 4 (Проверочная работа)Self-supervision, дистилляция, квантизация, прунинг, соревновательные атаки, генеративно-состязательные сети
- ЭкзаменПисьменный, в аудитории, материалами пользоваться не разрешается, 2 часа
Interim Assessment
- 2024/2025 3rd moduleИтог = Округление(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э), где БДЗ — средняя оценка за все большие домашние задания, МДЗ — средняя оценка за все маленькие домашние задания, ПР — оценка за проверочные работы, Э — оценка за экзамен.
Bibliography
Recommended Core Bibliography
- Глубокое обучение, Гудфеллоу, Я., 2018
Recommended Additional Bibliography
- Christopher M. Bishop. (n.d.). Australian National University Pattern Recognition and Machine Learning. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.EBA0C705