Глубинное обучение 1

Бакалавриат 2025/2026

Статус: Курс по выбору (Компьютерные науки и анализ данных)

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 3-й курс, 2, 3 модуль

Охват аудитории: для своего кампуса

Язык: русский

Кредиты: 4

Дополнительные материалы в LMS Задать вопрос

Аннотация

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

Цель освоения дисциплины

Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
Владение фреймворком PyTorch для обучения нейронных сетей.
Понимание различных задач, которые решаются с применением глубинного обучения.
Умение обрабатывать данные.
Умение составлять пайплайны для обучения нейронных сетей.

Планируемые результаты обучения

Формулировать перевод задачи на математический язык
Познакомиться с разработкой нейронных сетей для различных задач
Провести первичный анализ данных
Настроить инфраструктуру обучения для дальнейшего масштабирования

Содержание учебной дисциплины

Графы вычислений, полносвязные нейронные сети.
Введение в PyTorch
Оптимизация нейронных сетей.
Введение в PyTorch 2
Сверточные нейронные сети
Сверточные нейронные сети в PyTorch 1, Проверочная работа 1
Основы масштабирования инфраструктуры обучения
Современные сверточные архитектуры, fine-tuning
Сверточные нейронные сети в PyTorch 2
Обработка текстов (энкодинги, эмбеддинги)
Обработка текстов (энкодинги, эмбеддинги).
Рекуррентные нейронные сети
Рекуррентные нейронные сети.
Архитектура трансформера
Архитектура трансформера.
Применения трансформеров в компьютерном зрении
Знакомство с библиотеками
Self-supervision
Self-supervision.
Дистилляция, квантизация, прунинг
Дистилляция, квантизация, прунинг.
Генеративные модели
Генеративные модели.
Продвинутые генеративные модели.
Продвинутые генеративные модели
Доп слот для лекции

Элементы контроля

БДЗ 1 (Большое домашнее задание)
Классификация изображений, формат соревнования
МДЗ 2 (Маленькое домашнее задание)
Сверточные нейронные сети (10 баллов)
МДЗ 3 (Маленькое домашнее задание)
Рекуррентные нейронные сети (15 баллов)
МДЗ 4 (Маленькое домашнее задание)
Генеративно-состязательные сети (10 баллов)
БДЗ 2 (Большое домашнее задание)
Машинный перевод, формат соревнования
МДЗ 5 (Маленькое домашнее задание)
TBA (10 баллов)
МДЗ 1 (Маленькое домашнее задание)
Обучение нейронных сетей на numpy, полносвязные нейронные сети (20 баллов)
МДЗ 6 (Маленькое домашнее задание)
TBA (10 баллов)
ПР 1 (Проверочная работа)
Полносвязные нейронные сети, оптимизация нейронных сетей
ПР 2 (Проверочная работа)
Обработка изображений, сверточные нейронные сети
Экзамен
Письменный, в аудитории, материалами пользоваться не разрешается, 2 часа
ПР 3 (Проверочная работа)
Обработка текстов, рекуррентные нейронные сети, архитектура трансформера
ПР 4 (Проверочная работа)
Self-supervision, дистилляция, квантизация, прунинг, соревновательные атаки, генеративно-состязательные сети

Промежуточная аттестация

2025/2026 3rd module
Итог = Округление(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э), где БДЗ — средняя оценка за все большие домашние задания, МДЗ — средняя оценка за все маленькие домашние задания, ПР — оценка за проверочные работы, Э — оценка за экзамен.

Список литературы

Авторы

Ахмедова Гюнай Интигам кызы

Программа дисциплины