2024/2025

Глубинное обучение

Статус: Маго-лего

Кто читает: Департамент больших данных и информационного поиска

Когда читается: 4 модуль

Охват аудитории: для своего кампуса

Преподаватели: Блуменау Марк Ильич

Язык: русский

Кредиты: 3

Программа дисциплины

Аннотация

Курс посвящен изучению глубокого обучения, которое является наиболее быстро развивающейся областью машинного обучения. Слушатели курса узнают, какие виды задач машинного обучения могут быть решены с помощью нейронных сетей и какие типы нейронных сетей используются в настоящее время. Курс имеет четкую практическую направленность, слушателям предстоит обучать нейронные сети на фреймворке PyTorch с использованием языка программирования Python. В курсе также рассматриваются задачи, связанные с изображениями и текстами.

Цель освоения дисциплины

• Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные.
• Владение фреймворком PyTorch для обучения нейронных сетей.
• Понимать различные задачи, которые решаются с применением глубинного обучения.
• Знать наиболее используемые алгоритмы оптимизации.
• Уметь повторять архитектуры нейронных сетей по их описанию из статей или других материалов.

Планируемые результаты обучения

• Уметь обрабатывать данные и составлять пайплайны для обучения нейронных сетей.
• Понимать пути решения задач при помощи нейронных сетей.
• Уметь работать с фреймворком PyTorch.

Содержание учебной дисциплины

• Виды градиентного спуска
• Linear, Dropout, BatchNorm слои
• Операция свертки, сверточные нейронные сети
• Распространенные архитектуры сверточных нейронных сетей
• Основные задачи компьютерного зрения
• Эмбеддинги
• Рекуррентные нейронные сети
• Трансформер, механизм внимания

Элементы контроля

• Домашнее задание 1
  Обучение полносвязных нейронных сетей.
• Домашнее задание 2
  Обучение сверточных нейронных сетей
• Домашнее задание 3
  Написание архитектуры модели и функции потерь, подобных описанным в статье по компьютерному зрению
• Домашнее задание 4
  Работа с рекуррентными нейронными сетями
• Экзамен

Промежуточная аттестация

• 2024/2025 4th module
  Итог = ОКРУГЛ(0.5*МИН(12, ДЗ) + 0.4 * Э + 0.1 * онлайн-курс) где ДЗ — средняя оценка за все домашние задания, Э — оценка за экзамен. МИН - функция взятия минимума из двух чисел. Все компоненты берутся неокругленными.

Список литературы

Рекомендуемая основная литература

• Глубокое обучение, Гудфеллоу, Я., 2018

Рекомендуемая дополнительная литература

• Christopher M. Bishop. (n.d.). Australian National University Pattern Recognition and Machine Learning. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.EBA0C705

Авторы

• Ахмедова Гюнай Интигам кызы
• Блуменау Марк Ильич