Магистратура
2024/2025
Обучение с подкреплением
Статус:
Курс по выбору (Финансовые технологии и анализ данных)
Направление:
01.04.02. Прикладная математика и информатика
Где читается:
Факультет компьютерных наук
Когда читается:
2-й курс, 2 модуль
Формат изучения:
без онлайн-курса
Охват аудитории:
для своего кампуса
Преподаватели:
Довгань Сергей Сергеевич
Прогр. обучения:
Финансовые технологии и анализ данных
Язык:
русский
Кредиты:
3
Программа дисциплины
Аннотация
Цель курса - ознакомление студентов с основными подходами и алгоритмами обучения с подкреплением. Планируется дать понимание того, какие существуют подходы к решению задач обучения с подкреплением, научить выбирать подход и алгоритм, наиболее подходящий для рассматриваемой студентом задачи, научить обучать модели с использованием современных нейросетевых библиотек.
Цель освоения дисциплины
- уметь распознавать ситуации, в которых уместно применение методов обучения с подкреплением
- уметь сформулировать задачу обучения с подкреплением и выбрать эффективный способ её решения
- знать основные парадигмы обучения с подкреплением и границы их применимости
- уметь обучить по возможности оптимального агента для решения задачи, оценить его эффективность
Планируемые результаты обучения
- владеть методами теоретического исследования используемых алгоритмов
- знать основные парадигмы обучения с подкреплением и границы их применимости
- знать что такое среда, состояние и агент в обучении с подкреплением
- уметь обучить по возможности оптимального агента для решения задачи, оценить его эффективность
- уметь сформулировать задачу обучения с подкреплением и выбрать эффективный способ её решения
Содержание учебной дисциплины
- Многорукие бандиты
- Марковские процессы
- Аппроксимация
- Непрерывное пространство действий
- Actor-Critic
- Model-Based
Список литературы
Рекомендуемая основная литература
- Глубокое обучение с подкреплением : теория и практика на языке Python, Грессер, Л., 2022
- Саттон, Р. С. Обучение с подкреплением: введение : руководство / Р. С. Саттон, Э. Д. Барто , перевод с английского А. А. Слинкина. — Москва : ДМК Пресс, 2020. — 552 с. — ISBN 978-5-97060-097-9. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/179453 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.
Рекомендуемая дополнительная литература
- Wiering, M., & Otterlo, M. van. (2012). Reinforcement Learning : State-of-the-Art. Berlin: Springer. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=537744
- Обучение с подкреплением, Саттон, Р. С., 2011