Бакалавриат
2025/2026
Математические основы нейросетевых моделей
Статус:
Курс по выбору (Прикладная математика и информатика)
Где читается:
Факультет компьютерных наук
Когда читается:
4-й курс, 3 модуль
Охват аудитории:
для своего кампуса
Язык:
русский
Кредиты:
4
Контактные часы:
40
Программа дисциплины
Аннотация
В последние годы нейросетевые модели уверенно демонстрируют свою практическую значимость. Однако математическое объяснение феноменальной эффективности нейронных сетей представляет значительные трудности и до сих пор является темой для активных исследований. Одна из причин этого состоит в том, что классическая статистическая теория обучения с использованием VC-размерности оказывается неспособной объяснить многие эффекты, возникающие при обучении нейросетей, например, феномен двойного спуска. Основная цель данного курса состоит в том, чтобы дать представление о современных идеях и результатах в области математического описания принципов работы нейронных сетей. Три основных направления, о которых пойдет речь в курсе, касаются вопросов аппроксимации, оптимизации и обобщающей способности нейросетевых моделей.
Планируемые результаты обучения
- Иметь представление о современном состоянии математического понимания нейросетевых моделей
- Иметь представление об основных подходах к оценке обобщающих способностей моделей
- Иметь представление о пейзаже оптимизации функции потерь при обучении нейросетей
Содержание учебной дисциплины
- Формальная постановка задачи машинного обучения, классическая теория VC-размерности и ее ограничения
- Сложность Радемахера и связанные с ней оценки сложности моделей
- Norm & Margin-Based оценки обобщающей способности
- Оценки обобщающей способности при помощи Neural Tangent Kernel
- Теоремы об универсальной аппроксимации и интерполяционные свойства нейросетей
- Преодоление проклятия размерности в нейросетях
- Влияние глубины и ширины моделей на качество аппроксимации
- Аппроксимационные свойства глубоких ReLU сетей
- Градиентный спуск не сходится к седловым точкам
- Анализ loss landscape при помощи splin glass моделей
- Траектории и линии уровня при оптимизации нейросетей градиентным спуском
Элементы контроля
- Домашнее заданиеДомашние задания выдаются после каждого семинара.
- ПосещаемостьВ течение семестра оценивается посещаемость.
- Разбор статейСтатья может быть выбрана как самостоятельно, так и из предложенного списка статей. Студент выбирает статью и разбирает ее на семинаре с докладом (примерно на 15 минут).
- ЭкзаменЭкзамен проходит в устной очной форме. Во время подготовки можно использовать любые материалы, в том числе интернет, но запрещается общаться с другими людьми. После ответа студенту могут быть заданы дополнительные вопросы по программе курса, а также предложены задачи на понимание теоретического материала.
Промежуточная аттестация
- 2025/2026 3rd moduleИтог = min{10, Округление(ДЗ + РС + Э + П)} где РС — оценка за разбор статьи, ДЗ — оценка за все домашние задания, Э — оценка за экзамен, П - баллы за посещаемость.
Список литературы
Рекомендуемая основная литература
- Гудфеллоу, Я. Глубокое обучение / Я. Гудфеллоу, И. Бенджио, А. Курвилль , перевод с английского А. А. Слинкина. — 2-е изд. — Москва : ДМК Пресс, 2018. — 652 с. — ISBN 978-5-97060-618-6. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/107901 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.
Рекомендуемая дополнительная литература
- Барцев, С. И. Эвристические нейросетевые модели в биофизике: приложение к проблеме структурно-функционального соответствия [Электронный ресурс] : Монография / С. И. Барцев, О. Д. Барцева. - Красноярск: Сибирский федеральный ун-т, 2010. - 115 с. - ISBN 978-5-7638-2080-5. - Текст : электронный. - URL: https://znanium.com/catalog/product/443212