Бакалавриат
2024/2025




Математические основы нейросетевых моделей (углубленный курс)
Статус:
Курс по выбору (Прикладная математика и информатика)
Когда читается:
3-й курс, 3, 4 модуль
Охват аудитории:
для своего кампуса
Преподаватели:
Морозов Станислав Викторович
Язык:
русский
Программа дисциплины
Аннотация
В последние годы нейросетевые модели уверенно демонстрируют свою практическую значимость. Однако математическое объяснение феноменальной эффективности нейронных сетей представляет значительные трудности и до сих пор является темой для активных исследований. Одна из причин этого состоит в том, что классическая статистическая теория обучения с использованием VC-размерности оказывается неспособной объяснить многие эффекты, возникающие при обучении нейросетей, например, феномен двойного спуска. Основная цель данного курса состоит в том, чтобы дать представление о современных идеях и результатах в области математического описания принципов работы нейронных сетей. Три основных направления, о которых пойдет речь в курсе, касаются вопросов аппроксимации, оптимизации и обобщающих способностей нейросетевых моделей.
Планируемые результаты обучения
- Иметь представление о современном состоянии математического понимания нейросетевых моделей
- Иметь представление об основных подходах к оценке обобщающих способностей моделей
- Иметь представление о пейзаже оптимизации функции потерь при обучении нейросетей
Содержание учебной дисциплины
- Формальная постановка задачи машинного обучения, классическая теория VC-размерности и ее ограничения
- Сложность Радемахера и связанные с ней оценки сложности моделей
- Norm & Margin-Based оценки обобщающей способности
- Sharpness-Based оценки обобщающей способности
- Оценки обобщающей способности при помощи Reproducing kernel Hilbert space
- Другие меры обобщающей способности и связь оценок с реальностью
- Теоремы об универсальной аппроксимации и интерполяционные свойства нейросетей
- Преодоление проклятия размерности в нейросетях
- Влияние глубины и ширины моделей на качество аппроксимации
- Аппроксимационные свойства глубоких ReLU сетей
Элементы контроля
- Домашнее задание 1Выдается после лекции № 6 и содержит 5 задач, посвященных оценкам обобщающей способности.
- Домашнее задание 2Выдается после лекции № 10 и содержит 5 задач, посвященных аппроксимационным свойствам нейросетей.
- Разбор статейДля получения удовлетворительной оценки за курс необходимо разобрать на семинаре по крайней мере одну статью по теме курса. Статья может быть выбрана как самостоятельно, так и из предложенного списка статей. Статьи по теме обобщающей способности (лекции 1-6) выдаются после лекции № 1 и могут быть разобраны в течение всего курса. Статьи по теме аппроксимации (лекции 7-10) выдаются после лекции № 6 и могут быть разобраны начиная с семинаров по соответствующей теме (лекция 7 и далее).
- ЭкзаменЭкзамен проходит в устной очной форме. Студент получает билет, который включает в себя 2 вопроса, касающиеся обобщающей способности (лекции 1-6), аппроксимационных свойств (лекции 7-10). Во время подготовки можно использовать любые материалы, в том числе интернет, но запрещается общаться с другими людьми. После ответа студенту могут быть заданы дополнительные вопросы по программе курса, а также предложены задачи на понимание теоретического материала.
Промежуточная аттестация
- 2024/2025 4th moduleИтог = Округление(0.4 * РС + 0.3 * ДЗ + 0.3 * Э), где РС — оценка за разбор статьи, ДЗ — средняя оценка за все домашние задания, Э — оценка за экзамен.
Список литературы
Рекомендуемая основная литература
- Гудфеллоу, Я. Глубокое обучение / Я. Гудфеллоу, И. Бенджио, А. Курвилль , перевод с английского А. А. Слинкина. — 2-е изд. — Москва : ДМК Пресс, 2018. — 652 с. — ISBN 978-5-97060-618-6. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/107901 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.
Рекомендуемая дополнительная литература
- Барцев, С. И. Эвристические нейросетевые модели в биофизике: приложение к проблеме структурно-функционального соответствия [Электронный ресурс] : Монография / С. И. Барцев, О. Д. Барцева. - Красноярск: Сибирский федеральный ун-т, 2010. - 115 с. - ISBN 978-5-7638-2080-5. - Текст : электронный. - URL: https://znanium.com/catalog/product/443212