Методы оптимизации в машинном обучении

Бакалавриат 2025/2026

Статус: Курс по выбору (Прикладная математика и информатика)

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 3-й курс, 3, 4 модуль

Онлайн-часы: 20

Охват аудитории: для своего кампуса

Преподаватели: Дергачев Степан Алексеевич, Забара Илья Денисович, Куйбида Всеволод Иванович, Максимов Ян Викторович, Меркулов Даниил Максимович, Муравьев Кирилл Федорович, Ребриков Алексей Витальевич

Язык: русский

Кредиты: 5

Контактные часы: 80

Дополнительные материалы в LMS Задать вопрос

Аннотация

Курс охватывает темы выпуклой, невыпуклой, непрерывной оптимизации, особенно мотивированные задачами и приложениями в Машинном Обучении. Рассматриваются разные темы - от фундаментальных материалов до недавних исследований.

Цель освоения дисциплины

Понимание и применение линейной алгебры и матричных разложений в контексте оптимизации: Студенты смогут использовать основные концепции линейной алгебры и матричных разложений для решения задач оптимизации.
Освоение градиентных методов и их применение: После изучения курса студенты будут уметь применять градиентный спуск и другие градиентные методы для решения задач машинного обучения.
Понимание и использование концепций выпуклости и невыпуклости в оптимизации: Студенты освоят концепции выпуклых и невыпуклых функций и смогут применять их при решении соответствующих задач.
Применение условий оптимальности и двойственности в задачах оптимизации: Освоение теоремы Каруша-Куна-Таккера и принципов двойственности для анализа и решения оптимизационных задач.
Овладение методами первого и второго порядков: Студенты узнают о методах, основанных на первом и втором порядках производных, включая методы субградиентного спуска и метод Ньютона.

Планируемые результаты обучения

Изучение ускоренных градиентных методов и методов для работы с ограничениями: Студенты научатся применять ускоренные градиентные методы и методы для оптимизации с ограничениями, такие как метод проекции градиента.
Понимание специфики оптимизации в нейронных сетях и современных исследований в этой области: Студенты изучат алгоритмы стохастического градиентного спуска, адаптивные градиентные алгоритмы и другие современные методы, актуальные для нейронных сетей.
Освоение теоретических основ и практических навыков для анализа и решения различных оптимизационных задач: Студенты смогут применять полученные знания для решения реальных задач в области машинного обучения, включая задачи выпуклой и невыпуклой оптимизации.
Понимание и применение принципов обобщающей способности моделей машинного обучения: Студенты изучат концепции, связанные с обобщающей способностью моделей, включая Neural Tangent Kernel и Mode connectivity.
Развитие навыков критического анализа и самостоятельного исследования в области оптимизации и машинного обучения: Помимо теоретических знаний, курс нацелен на развитие у студентов способности к аналитическому мышлению, самостоятельному изучению новых методов и их критическому анализу.

Содержание учебной дисциплины

Вспоминаем линейную алгебру.
Градиент.
Выпуклость.
Условия оптимальности.
Двойственность.
Задача линейного программирования.
Градиентный спуск.
Ускоренные градиентные методы.
Субградиент.
Проксимальный градиентный метод.
Метод сопряженных градиентов.
Метод натурального градиента.
Метод Ньютона.
Введение в методы внутренней точки.
Стохастический градиентный спуск.
Методы редукции дисперсии: SAG, SVRG, SAGA.
Градиентный поток и диффузия.
Седловые задачи.
Обобщающая способность моделей машинного обучения.
Инициализация.
Автоматическое дифференцирование. Вычислительный граф
Вопросы обучения больших моделей. Lars, Lamb. Learning rate schedulers. Warm-up. MultiGPU training.
Введение в двойственные методы оптимизации. Метод двойственного градиентного подъёма. Метод модифицированной функции Лагранжа. ADMM.
Дополнительные главы оптимизации

Элементы контроля

Тесты
Короткие тесты по материалам предыдущей лекции проводятся в начале или в конце лекции Тесты очные Для каждого студента его оценка за тесты считается как среднее арифметическое по лучшим 10 тестам за семестр: если вы написали 12 тестов, то ваша оценка за тесты будет равна среднему арифметическому по 10 самым высоким оценкам из этих 12 тестов
Экзамен
Письменный экзамен проводится во время летней сессии Экзамен длится 4 часа Экзамен состоит из задач по темам курса, а также вопросов по теории
Домашние задания
Дедлайны — жесткие, сдвигаться не будут. Убедитесь, что вы не отправляете задание в последние минуты. При оформлении решений можно использовать машинописный формат сдачи (quarto, markdown, latex). Вы можете оформлять теоретические задачи, например, с помощью планшета красивым понятным почерком. Обратите, пожалуйста, внимание, что в таком случае ассистенту должны быть понятны почерк, оформление, а также качество изображения. Домашние задания выдаются по темам лекций, но сдаются не после каждой недели, а группами по несколько недель (примерно раз в месяц) Теоретическая часть домашних заданий оформляется в формате .pdf, практическая — в формате .ipynb. Сдавать в Classroom нужно оба файла (допускается сдача одного файла, если были только практические задачи или только теоретические) При решении домашних задач вы не можете использовать LLM для написания кода/решения задачи
Коллоквиум
• Коллоквиум пройдёт в конце учебного года (точная дата будет объявлена позднее) и будет включать в себя только материалы по темам прошедших лекций.
Проект
• Проекты выполняются в группах по 2-3 человека. В редких случаях допускается изменение количества участников группы • Проекты выполняются на протяжении всего семестра • Идеальным результатом проекта является статья на хорошую профильную конференцию/workshop/научный журнал • В проекте должна быть хотя бы минимальная содержательная связь с темами курса • В конце курса мы проведем постерную сессию, на которой каждая команда представит свой постер • Все члены команды должны активно работать над проектом • В случае, если у руководителя проекта/ментора/лектора/семинариста будут обоснованные сомнения в том, что член команды принимает активное участие в проекте, его могут попросить сдавать коллоквиум по материалам курса вместо проекта
Посещаемость
Коммиты в главном репозитории

Промежуточная аттестация

2025/2026 4th module
Оценка = округление(минимум(10, [0.15, 0.2, 0.35, 0.3]^T \ [Тест, ДЗ, Проект/Коллоквиум, Экзамен] + 0.5 \ минимум(1, количество принятых коммитов в главный репозиторий / 10) + 0.5 \* Посещаемость)) где: Тест, ДЗ, Проект/Коллоквиум, Экзамен — оценки за соответствующие активности от 0 до 10. Тесты проводятся (по возможности) на каждой лекции по материалам предыдущей лекции. За пропущенный по неуважительной причине тест ставится 0. Оценка за тесты считается как среднее арифметическое по лучшим 10 тестам за семестр. Во время сдачи коллоквиума/проекта необходимо знать все вопросы из теоретического минимума курса, в противном случае за курс ставится 0. Количество принятых коммитов в главный репозиторий с учебными материалами. Посещаемость = 1, если пропущено менее 25% семинаров не по уважительной причине. Иначе Посещаемость = 0. Оценка 10 может быть получена только при условии, что все 4 компоненты оценок больше, чем 8.

Список литературы

Авторы

Меркулов Даниил Максимович

Программа дисциплины