Исследовательские задачи в области больших языковых моделей

Бакалавриат 2025/2026

Статус: Курс по выбору (Прикладная математика и информатика)

Кто читает: Базовая кафедра Т-Банка

Где читается: Факультет компьютерных наук

Когда читается: 3-й курс, 3, 4 модуль

Охват аудитории: для своего кампуса

Язык: русский

Кредиты: 6

Контактные часы: 80

Дополнительные материалы в LMS Задать вопрос

Аннотация

Это курс на базе лаборатории Omut AI, где проводятся фундаментальные исследования в области искусственного интеллекта (AI) и больших языковых моделей (LLM). На воркшопах студенты будут читать научные статьи и детально разбирать формализацию и реализацию описанных методов, технику проведения экспериментов, конъюнктуру, которая есть в этой теме. А ещё погружаться в проблемы в области AI, над которыми научное сообщество работает прямо сейчас, и проводить самостоятельные исследования на реальных данных.

Цель освоения дисциплины

понимать теоретическое обоснование современных методов в RL for LLMs, Mechanistic Interpretability, Multimodal LLMs
решать актуальные проблемы в области AI
писать код для экспериментов — как для обучения моделей, так и для их валидации
валидировать результаты в зависимости от целей исследований
реализовывать новые методы

Планируемые результаты обучения

Знает актуальные исследования AI (RL for LLMs, Mechanistic Interpretability, Multimodal LLMs)
Умеет решать исследовательские задачи
Умеет реализовывать методы, для которых может не существовать правильного решения
Понимает теоретическое обоснование современных методов в RL for LLMs, Mechanistic Interpretability, Multimodal LLMs
Решает актуальные проблемы в области AI
Умеет писать код для экспериментов — как для обучения моделей, так и для их валидации
Валидирует результаты в зависимости от целей исследований;
Реализует новые методы

Содержание учебной дисциплины

Основы RL-методов
Интро в GRPO
Агентность
Основы In-context Learning
Advanced research beyond GRPO
Анализ репрезентаций в трансформерах
Каузальный анализ трансформера и Circuit Discovery
Hyper Networks
Multimodal VLMs (basics)
Agents and multi-step training
World Models
Vision-Language-Action models

Элементы контроля

Домашнее задание
Можно использовать AI для решения рутинных задач и генерации идей, например, для создания unit-тестов, если за них не начисляются баллы. Пользуйся AI осмысленно: тебе должен быть понятен результат, полученный c его помощью. Преподаватель или ассистент могут попросить объяснить устно, как работает твоё решение и почему оно устроено именно так. Если код в решении сгенерирован AI, то это нужно указать и обосновать применение нейросети.
Коллоквиум

Промежуточная аттестация

2025/2026 4th module
ДЗ * 0,3 + Коллоквиум * 0,7

Список литературы

Авторы

Солдатова Татьяна Владимировна

Программа дисциплины