Математические основы нейросетевых моделей (углубленный курс)

Бакалавриат 2024/2025

Статус: Курс по выбору (Прикладная математика и информатика)

Кто читает: Базовая кафедра Института вычислительной математики им. Г.И. Марчука РАН

Когда читается: 3-й курс, 3, 4 модуль

Охват аудитории: для своего кампуса

Преподаватели: Морозов Станислав Викторович

Язык: русский

Полная версия программы учебной дисциплины Задать вопрос

Аннотация

В последние годы нейросетевые модели уверенно демонстрируют свою практическую значимость. Однако математическое объяснение феноменальной эффективности нейронных сетей представляет значительные трудности и до сих пор является темой для активных исследований. Одна из причин этого состоит в том, что классическая статистическая теория обучения с использованием VC-размерности оказывается неспособной объяснить многие эффекты, возникающие при обучении нейросетей, например, феномен двойного спуска. Основная цель данного курса состоит в том, чтобы дать представление о современных идеях и результатах в области математического описания принципов работы нейронных сетей. Три основных направления, о которых пойдет речь в курсе, касаются вопросов аппроксимации, оптимизации и обобщающих способностей нейросетевых моделей.

Цель освоения дисциплины

Знать основные результаты об аппроксимационных свойствах нейросетей

Планируемые результаты обучения

Иметь представление о современном состоянии математического понимания нейросетевых моделей
Иметь представление об основных подходах к оценке обобщающих способностей моделей
Иметь представление о пейзаже оптимизации функции потерь при обучении нейросетей

Содержание учебной дисциплины

Формальная постановка задачи машинного обучения, классическая теория VC-размерности и ее ограничения
Сложность Радемахера и связанные с ней оценки сложности моделей
Norm & Margin-Based оценки обобщающей способности
Sharpness-Based оценки обобщающей способности
Оценки обобщающей способности при помощи Reproducing kernel Hilbert space
Другие меры обобщающей способности и связь оценок с реальностью
Теоремы об универсальной аппроксимации и интерполяционные свойства нейросетей
Преодоление проклятия размерности в нейросетях
Влияние глубины и ширины моделей на качество аппроксимации
Аппроксимационные свойства глубоких ReLU сетей

Элементы контроля

Домашнее задание 1
Выдается после лекции № 6 и содержит 5 задач, посвященных оценкам обобщающей способности.
Домашнее задание 2
Выдается после лекции № 10 и содержит 5 задач, посвященных аппроксимационным свойствам нейросетей.
Разбор статей
Для получения удовлетворительной оценки за курс необходимо разобрать на семинаре по крайней мере одну статью по теме курса. Статья может быть выбрана как самостоятельно, так и из предложенного списка статей. Статьи по теме обобщающей способности (лекции 1-6) выдаются после лекции № 1 и могут быть разобраны в течение всего курса. Статьи по теме аппроксимации (лекции 7-10) выдаются после лекции № 6 и могут быть разобраны начиная с семинаров по соответствующей теме (лекция 7 и далее).
Экзамен
Экзамен проходит в устной очной форме. Студент получает билет, который включает в себя 2 вопроса, касающиеся обобщающей способности (лекции 1-6), аппроксимационных свойств (лекции 7-10). Во время подготовки можно использовать любые материалы, в том числе интернет, но запрещается общаться с другими людьми. После ответа студенту могут быть заданы дополнительные вопросы по программе курса, а также предложены задачи на понимание теоретического материала.

Промежуточная аттестация

2024/2025 4th module
Итог = Округление(0.4 * РС + 0.3 * ДЗ + 0.3 * Э), где РС — оценка за разбор статьи, ДЗ — средняя оценка за все домашние задания, Э — оценка за экзамен.

Программа дисциплины