Агентные системы в бизнесе

Бакалавриат 2026/2027

Статус: Курс по выбору (Прикладная математика и информатика)

Кто читает: Базовая кафедра Сбер

Где читается: Факультет компьютерных наук

Когда читается: 4-й курс, 1, 2 модуль

Охват аудитории: для своего кампуса

Язык: русский

Кредиты: 5

Контактные часы: 56

Дополнительные материалы в LMS Задать вопрос

Аннотация

Курс даёт целостное инженерное представление о создании прикладных решений на больших языковых моделях: студенты узнают, как выбирать модель под задачу по стоимости, задержке, качеству и размеру контекстного окна, как проектировать промпты и схемно-ориентированные рассуждения (SGR), когда дообучение (SFT, LoRA/QLoRA, RLHF, DPO, дистилляция) оправдано, а когда избыточно, как измерять качество через evals, LLM as a judge и анализ типов сбоев, как подключать внешние знания через RAG, GraphRAG, Agentic RAG и поиск в интернете, как строить агентные системы с инструментами, памятью, оркестрацией и многоагентными архитектурами и как выводить всё это в промышленную эксплуатацию с трассировкой, мониторингом стоимости, защитой от промпт-инъекций и CI/CD. Практика выстроена вокруг сквозной работы над собственным LLM-решением: сборка и отладка RAG-контура на своей базе знаний, разработка типизированных инструментов и подключение MCP-серверов, построение агента с памятью и критериями завершения, работа с кодинговыми агентами по спецификации и через TDD с изоляцией веток и автоматическим ревью, а также настройка тестовых наборов, трассировки (LangSmith, Langfuse) и бюджетов — то есть каждый блок закрывается работающим артефактом, а не только теорией. Идти на курс стоит тем, кто хочет заниматься воспроизводимой инженерной практикой: программу ведут специалисты, совмещающие исследования в лаборатории прикладного ИИ СПб ФИЦ РАН с промышленным внедрением сотен GenAI-кейсов в ПАО Сбербанк, поэтому подходы, инструменты и типичные ошибки разбираются на реальном продакшн-опыте.

Цель освоения дисциплины

Знать классификацию современных больших языковых моделей (общего назначения, рассуждающие, кодовые, мультимодальные) и уметь обоснованно выбирать модель и режим работы решения (автономная модель, RAG, агент, гибридная схема) по критериям стоимости, задержки, качества, размера контекстного окна и лицензии.
Уметь проектировать системы для типовых прикладных сценариев (суммаризация, классификация, извлечение данных, вопросно-ответные системы, структурированная выдача), включая управление ролями, ограничениями и цепочкой рассуждений.
Знать принципы схемно-ориентированного рассуждения (SGR, Schema-Guided Reasoning) и уметь применять схемы и их каскады для получения стабильного структурированного вывода, а также управлять контекстом через усечение, суммаризацию и выборочную вставку.
Знать основные методы адаптации моделей — SFT и настройку на инструкции, LoRA, QLoRA, PEFT, RLHF, DPO, дистилляцию — и уметь подготавливать данные для дообучения и оценивать целесообразность дообучения по сравнению с контекстными методами.
Уметь строить процесс разработки на основе оценок (evals-driven): формировать тестовые наборы, применять подход LLM as a judge и human in the loop, считать метрики точности, релевантности и доли галлюцинаций, классифицировать типы сбоев и отлаживать конвейер.
Знать архитектуру RAG и уметь подготавливать базу знаний, настраивать и улучшать Retrieval, оценивать и отлаживать качество RAG-контура, а также применять GraphRAG, Agentic RAG, поиск во внешних источниках и современные инструменты парсинга данных.
Знать паттерны проектирования агентных систем (ReAct, plan-and-execute, reflection, evaluator-optimizer) и уметь реализовывать агентный цикл с tool calling, типизированными аргументами и валидацией, подключением внешних API и MCP-серверов, обработкой ошибок, ограничением шагов и стоимости и передачей задачи человеку.
Знать устройство подсистем памяти агентов (краткосрочная и долгосрочная, рабочая, семантическая, эпизодическая, процедурная) и уметь проектировать сохранение состояния между сессиями и стратегии компрессии и компактизации памяти.
Уметь вести разработку с кодинговыми агентами: описывать правила и знания проекта, работать от спецификации и через TDD, использовать рабочие деревья и параллельных агентов, организовывать автоматизированное тестирование и ревью.
Знать принципы опромышливания LLM- и агентных решений и уметь настраивать трассировку и наблюдаемость (LangSmith, Langfuse), мониторинг надёжности и стоимости, защиту от промпт-инъекций и обхода ограничений, а также процессы CI/CD, A/B-тестирования и версионирования инструментов.

Планируемые результаты обучения

Проектирование архитектуры LLM-решения — разбор задачи на компоненты и выбор между автономной моделью, RAG, агентом и гибридной схемой с обоснованием по стоимости, задержке, качеству и лицензионным ограничениям.
Промпт-инжиниринг и работа со схемами вывода — построение устойчивых промптов с ролями и ограничениями, применение SGR и каскадов схем, получение валидируемой структурированной выдачи вместо свободного текста.
Управление контекстом — усечение, суммаризация, выборочная вставка и изоляция информации, удержание качества на длинных диалогах и больших объёмах входных данных.
Адаптация моделей под задачу — подготовка и очистка обучающих данных, запуск SFT и дообучения методами LoRA/QLoRA/PEFT, понимание применимости RLHF, DPO и дистилляции, оценка экономической целесообразности дообучения.
Построение системы оценки качества — формирование тестовых наборов, настройка LLM as a judge и процедур human in the loop, расчёт метрик точности, релевантности и доли галлюцинаций, систематический анализ ошибок и отладка конвейера.
Разработка и отладка RAG-контуров — подготовка базы знаний, настройка и улучшение Retrieval, диагностика проблем поиска, применение GraphRAG и Agentic RAG, подключение внешних источников через поиск и парсинг.
Разработка агентов и инструментов для них — реализация агентного цикла, проектирование read/write-инструментов с идемпотентностью, retries, timeouts и fallback, подключение API и MCP-серверов, настройка критериев завершения и лимитов по шагам, стоимости и времени.
Работа с памятью и состоянием агентов — организация краткосрочной и долгосрочной памяти по уровням L0–L3, сохранение состояния между сессиями, компрессия и компактизация накопленного контекста.
Разработка с кодинговыми агентами — работа от спецификации и через TDD, ведение правил проекта, изоляция веток и рабочих деревьев, запуск параллельных агентов, автоматизированное тестирование и ревью кода.
Оркестрация многоагентных систем — сборка кооперативных, конкурентных и иерархических конфигураций, координация агентов, инструментов и навыков, оценка компромиссов автономности и управляемости.
Вывод решений в эксплуатацию и их сопровождение — настройка трассировки и наблюдаемости (LangSmith, Langfuse), структурированного логирования, SLO по задержке, учёта расходов и бюджетов, реагирования на инциденты, а также CI/CD, A/B-тестирования и версионирования инструментов.
Обеспечение безопасности LLM-систем — выявление и парирование промпт-инъекций и попыток обхода ограничений, встраивание точек подтверждения человеком в чувствительные сценарии.

Содержание учебной дисциплины

Основы LLM
Контекстная инженерия и адаптация моделей
Оценка качества
Знания и интеграции: RAG и поиск
Агентные системы
Опромышливание

Элементы контроля

Домашнее задание 1
Выдаётся после лекции № 6, срок выполнения — 2 недели. Практическое задание: собрать RAG-конвейер на выданной базе знаний и приложить к нему собственный набор оценок (тестовый набор, метрики релевантности и доли галлюцинаций). Сдача — репозиторий с воспроизводимым запуском и отчёт на одну страницу с анализом ошибок.
Домашнее задание 2
Выдаётся после лекции № 12, срок выполнения — 2 недели. Реализовать агента с набором инструментов, валидацией входов и результатов, памятью между сессиями и ограничениями по числу шагов и стоимости. Сдача — репозиторий с описанием инструментов и трассами выполнения.
Контрольная работа
Проводится в аудитории после лекции № 13, продолжительность 40 минут, 30 вопросов с автоматической проверкой по материалу лекций № 1–13. Пользоваться материалами и электронными устройствами не разрешается. Формат выбран как защищённый от списывания и не требующий ручной проверки.
Экзамен
Защита итогового мини-проекта в командах по 2–3 человека: сквозное LLM- или агентное решение по теме, согласованной с преподавателем до лекции № 10. Защита проводится очно или на платформе Zoom, 10 минут на демонстрацию решения и 5 минут на вопросы; вклад каждого участника фиксируется в отчёте команды.

Промежуточная аттестация

2026/2027 2nd module
Итог = Округление(0,4 · ДЗ + 0,2 · КР + 0,4 · Э), где ДЗ — средняя оценка за два домашних задания, КР — оценка за контрольную работу, Э — оценка за защиту итогового проекта. Округление арифметическое. Автоматы не предусмотрены: защита проекта является ключевым образовательным результатом курса и обязательна для всех студентов.

Программа дисциплины