Машинное обучение 2

2026/2027

Статус: Маго-лего

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Охват аудитории: для своего кампуса

Преподаватели: Блуменау Марк Ильич

Язык: русский

Кредиты: 6

Контактные часы: 68

Дополнительные материалы в LMS Задать вопрос

Аннотация

Курс представляет собой единый маршрут от постановки задачи машинного обучения до современных глубоких моделей и требований к их надёжности. Он объединяет материал трёх традиционных курсов — классического машинного обучения, продвинутого машинного обучения и глубинного обучения — в одну согласованную линию, без повторов и разрывов между ними. Слушатели разбираются, как корректно поставить и провалидировать задачу, какие модели уместны для табличных, текстовых, графовых и визуальных данных, как устроены ансамбли и градиентный бустинг, вероятностные модели с латентными переменными, нейронные сети, механизм внимания и трансформеры, графовые нейросети, методы обучения представлений и переноса знаний. Отдельный блок посвящён тому, что делает модель пригодной к эксплуатации: оценке неопределённости, conformal prediction, детекции сдвига распределения и интерпретируемости. Курс имеет выраженную практическую направленность: все модели студенты обучают самостоятельно на Python с использованием scikit-learn, библиотек градиентного бустинга и PyTorch. Ключевые алгоритмы (EM, градиентный бустинг, backpropagation, механизм внимания) реализуются «с нуля», чтобы за интерфейсом библиотеки было видно устройство метода. Курс стоит выбрать тем, кто хочет получить целостную картину машинного обучения — от эмпирического риска до дообучения предобученных моделей — и научиться доводить решение до состояния, которому можно доверять.

Цель освоения дисциплины

Уметь корректно ставить задачу машинного обучения: выбирать функционал качества и метрику, строить схему валидации и выявлять утечки данных.
Знать устройство линейных и обобщённых линейных моделей, уметь применять регуляризацию, отбор признаков и калибровку предсказаний.
Знать метрические и ядерные методы (kNN, SVM, kernel trick) и уметь применять приближённый поиск ближайших соседей на больших объёмах данных.
Уметь обучать решающие деревья и ансамбли, включая градиентный бустинг (XGBoost, LightGBM, CatBoost), и настраивать их гиперпараметры.
Владеть методами обучения без учителя: кластеризацией, снижением размерности, manifold learning и поиском аномалий.
Знать основы вероятностного машинного обучения: MLE, MAP, модели с латентными переменными, смеси распределений и EM-алгоритм.
Уметь работать с несовершенными данными: дисбалансом классов, шумной разметкой, частичной и слабой разметкой.
Знать архитектурные индуктивные предположения нейронных сетей (MLP, CNN, RNN) и понимать работу вычислительных графов и backpropagation.
Знать методы оптимизации и регуляризации глубоких моделей (SGD, AdamW, нормализация, инициализация) и их влияние на обобщающую способность.
Знать механизм внимания и архитектуру Transformer, а также основы графовых нейронных сетей и geometric deep learning.
Владеть методами обучения представлений (эмбеддинги, автоэнкодеры, contrastive и self-supervised learning) и переноса знаний (fine-tuning, PEFT, domain adaptation).
Уметь оценивать неопределённость и надёжность моделей: строить conformal-предсказания, детектировать OOD-объекты и интерпретировать предсказания.

Планируемые результаты обучения

Уметь формулировать задачу машинного обучения в терминах эмпирического риска и выбирать метрику, соответствующую прикладной цели.
Знать, как строить схему валидации, устойчивую к утечкам данных и особенностям выборки, и обосновывать её выбор.
Уметь обучать и настраивать линейные модели, метрические и ядерные методы, решающие деревья и ансамбли.
Уметь реализовать ключевые алгоритмы курса «с нуля» (градиентный бустинг, EM-алгоритм, backpropagation, механизм внимания) и сравнивать их с библиотечными реализациями.
Уметь применять методы обучения без учителя для разведочного анализа, снижения размерности и поиска аномалий.
Уметь выводить формулы EM-алгоритма для модели с латентными переменными и объяснять связь MLE и MAP.
Знать, как диагностировать и устранять проблемы несовершенных данных: дисбаланс классов, шум в разметке, нехватку размеченных примеров.
Уметь проектировать и обучать нейронные сети разных архитектур средствами PyTorch, объясняя выбор архитектуры через индуктивные предположения.
Уметь дообучать предобученные модели методами fine-tuning и parameter-efficient adaptation.
Знать, как оценивать неопределённость и устойчивость модели, строить conformal-интервалы и интерпретировать предсказания.
Уметь оформлять результаты экспериментов воспроизводимым образом: фиксировать seed, версии данных и конфигурации запусков.

Содержание учебной дисциплины

Постановка и валидация задач машинного обучения
Линейные и обобщённые линейные модели
Метрические и ядерные методы
Решающие деревья и ансамбли
Обучение без учителя
Вероятностное машинное обучение
Обучение на несовершенных данных
Нейронные сети и архитектурные индуктивные предположения
Оптимизация и обобщающая способность глубоких моделей
Механизм внимания и архитектура Transformer
Графовые нейронные сети и основы geometric deep learning
Обучение представлений
Перенос знаний
Надёжное машинное обучение

Элементы контроля

Домашние задания
Экзамен
Экзамен проводится в устной форме по программе курса. Программа экзамена — список вопросов, покрывающих все темы лекций, — публикуется в репозитории курса не позднее чем за две недели до экзамена. Студент получает билет из двух вопросов: один по материалу лекций 1–7 (классическое и вероятностное машинное обучение, работа с несовершенными данными), второй по материалу лекций 8–14 (нейронные сети, трансформеры, графовые модели, обучение представлений, перенос знаний, надёжность моделей). На подготовку отводится 30 минут; пользоваться материалами при подготовке и ответе запрещено, разрешены чистые листы бумаги и письменные принадлежности. После ответа по билету принимающий задаёт дополнительные вопросы по программе курса, а также может предложить задачи на понимание теоретического материала. Такие задачи не требуют обширных вычислений.

Промежуточная аттестация

2026/2027 3rd module
Итог = ОКРУГЛ(0.6 · МИН(12, ДЗ) + 0.4 · Э), где ДЗ = (ДЗ₁ + ДЗ₂ + ДЗ₃ + ДЗ₄ + Бонус) / 4 — средняя оценка за домашние задания, Э — оценка за экзамен, МИН — функция взятия минимума из двух чисел. Здесь ДЗᵢ — оценка за i-е домашнее задание по 10-балльной шкале (после применения штрафов за просрочку), Бонус — суммарное количество бонусных баллов, набранных во всех домашних заданиях. Бонусные баллы учитываются в числителе, но не в знаменателе, поэтому они могут компенсировать потери в основных частях домашних заданий; при этом средний балл за домашние задания, участвующий в формуле, ограничен сверху значением 12. Все компоненты берутся неокруглёнными. Автоматы по курсу не выставляются: экзамен сдают все студенты.

Список литературы

Авторы

Блуменау Марк Ильич

Программа дисциплины