• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
Бакалавриат 2024/2025

Математические основы нейросетевых моделей (углубленный курс)

Когда читается: 3-й курс, 3, 4 модуль
Охват аудитории: для своего кампуса
Язык: русский

Программа дисциплины

Аннотация

В последние годы нейросетевые модели уверенно демонстрируют свою практическую значимость. Однако математическое объяснение феноменальной эффективности нейронных сетей представляет значительные трудности и до сих пор является темой для активных исследований. Одна из причин этого состоит в том, что классическая статистическая теория обучения с использованием VC-размерности оказывается неспособной объяснить многие эффекты, возникающие при обучении нейросетей, например, феномен двойного спуска. Основная цель данного курса состоит в том, чтобы дать представление о современных идеях и результатах в области математического описания принципов работы нейронных сетей. Три основных направления, о которых пойдет речь в курсе, касаются вопросов аппроксимации, оптимизации и обобщающих способностей нейросетевых моделей.
Цель освоения дисциплины

Цель освоения дисциплины

  • Знать основные результаты об аппроксимационных свойствах нейросетей
Планируемые результаты обучения

Планируемые результаты обучения

  • Иметь представление о современном состоянии математического понимания нейросетевых моделей
  • Иметь представление об основных подходах к оценке обобщающих способностей моделей
  • Иметь представление о пейзаже оптимизации функции потерь при обучении нейросетей
Содержание учебной дисциплины

Содержание учебной дисциплины

  • Формальная постановка задачи машинного обучения, классическая теория VC-размерности и ее ограничения
  • Сложность Радемахера и связанные с ней оценки сложности моделей
  • Norm & Margin-Based оценки обобщающей способности
  • Sharpness-Based оценки обобщающей способности
  • Оценки обобщающей способности при помощи Reproducing kernel Hilbert space
  • Другие меры обобщающей способности и связь оценок с реальностью
  • Теоремы об универсальной аппроксимации и интерполяционные свойства нейросетей
  • Преодоление проклятия размерности в нейросетях
  • Влияние глубины и ширины моделей на качество аппроксимации
  • Аппроксимационные свойства глубоких ReLU сетей
Элементы контроля

Элементы контроля

  • неблокирующий Домашнее задание 1
    Выдается после лекции № 6 и содержит 5 задач, посвященных оценкам обобщающей способности.
  • неблокирующий Домашнее задание 2
    Выдается после лекции № 10 и содержит 5 задач, посвященных аппроксимационным свойствам нейросетей.
  • неблокирующий Разбор статей
    Для получения удовлетворительной оценки за курс необходимо разобрать на семинаре по крайней мере одну статью по теме курса. Статья может быть выбрана как самостоятельно, так и из предложенного списка статей. Статьи по теме обобщающей способности (лекции 1-6) выдаются после лекции № 1 и могут быть разобраны в течение всего курса. Статьи по теме аппроксимации (лекции 7-10) выдаются после лекции № 6 и могут быть разобраны начиная с семинаров по соответствующей теме (лекция 7 и далее).
  • неблокирующий Экзамен
    Экзамен проходит в устной очной форме. Студент получает билет, который включает в себя 2 вопроса, касающиеся обобщающей способности (лекции 1-6), аппроксимационных свойств (лекции 7-10). Во время подготовки можно использовать любые материалы, в том числе интернет, но запрещается общаться с другими людьми. После ответа студенту могут быть заданы дополнительные вопросы по программе курса, а также предложены задачи на понимание теоретического материала.
Промежуточная аттестация

Промежуточная аттестация

  • 2024/2025 4th module
    Итог = Округление(0.4 * РС + 0.3 * ДЗ + 0.3 * Э), где РС — оценка за разбор статьи, ДЗ — средняя оценка за все домашние задания, Э — оценка за экзамен.
Список литературы

Список литературы

Рекомендуемая основная литература

  • Гудфеллоу, Я. Глубокое обучение / Я. Гудфеллоу, И. Бенджио, А. Курвилль , перевод с английского А. А. Слинкина. — 2-е изд. — Москва : ДМК Пресс, 2018. — 652 с. — ISBN 978-5-97060-618-6. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/107901 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.

Рекомендуемая дополнительная литература

  • Барцев, С. И. Эвристические нейросетевые модели в биофизике: приложение к проблеме структурно-функционального соответствия [Электронный ресурс] : Монография / С. И. Барцев, О. Д. Барцева. - Красноярск: Сибирский федеральный ун-т, 2010. - 115 с. - ISBN 978-5-7638-2080-5. - Текст : электронный. - URL: https://znanium.com/catalog/product/443212