Валидация больших генеративных моделей

2024/2025

Статус: Маго-лего

Кто читает: Базовая кафедра ПАО Сбербанк «Финансовые технологии и анализ данных»

Когда читается: 3 модуль

Охват аудитории: для своего кампуса

Преподаватели: Янгаличин Олег Ренатович

Язык: русский

Кредиты: 3

Полная версия программы учебной дисциплины Задать вопрос

Аннотация

Курс направлен на всесторонее изучение методов оценки качества работы генеративных сервисов, в частности LLM, мультимодальных и диффузионных моделей. На курсе будут рассматриваться темы, связанные с проведением валидации больших моделей: расскажем про процесс обучения моделей, концептуальные проблемы связанные с генеративными моделями, подходы к дизайну мл-решений, статистический и математический анализ качества работы, а также про продуктовую оценку решений и выявления болей в процессах где такие модели участвуют. Предложенные темы рассмотрим на реальных кейсах из индустрии.

Цель освоения дисциплины

По окончании курса студенты смогут самостоятельно проводить всестороннюю оценку качества работы генеративных моделей, применяя методы качественного и количественного анализа, выявлять потенциальные проблемы и предлагать решения для их устранения на основе опыта работы с реальными индустриальными кейсами.

Планируемые результаты обучения

Понимание архитектуры и принципов работы основных типов генеративных моделей
Знание ключевых этапов процесса валидации
Умение идентифицировать модельные риски
Понимание механизмов генерации текста в LLM
Умение выявлять потенциальные проблемы безопасности и галлюцинаций
Знание основных подходов к обучению LLM
Умение составлять тестовые наборы для оценки LLM
Знание основных бенчмарков и их применения
Навыки организации процесса разметки
Понимание границ применимости базовых LLM
Знание способов расширения возможностей через дополнительные функции
Умение определять необходимость внедрения агентности
Умение интегрировать различные функции в LLM-сервис
Навыки работы с RAG и другими базовыми функциями
Понимание принципов мультимодальной интеграции
Понимание концепции агентности и её роли в современных AI-системах
Умение проектировать базовые агентные системы
Знание основных подходов к организации взаимодействия между агентами
Способность проектировать ML-решения для бизнес-задач
Навыки формирования репрезентативных тестовых наборов данных
Умение оценивать применимость LLM для конкретных бизнес-сценариев
Умение формировать метрики оценки качества на основе бизнес-требований
Знание типовых сценариев применения LLM в бизнесе
Навыки анализа эффективности внедрения LLM-решений
Умение применять ad-hoc подходы к тестированию LLM
Навыки анализа нестандартных случаев применения LLM
Способность разрабатывать кастомные методики проверки качества
Понимание принципов работы диффузионных моделей
Знание методов первичной оценки качества генерации
Понимание основных метрик оценки качества генерации изображений
Умение выбирать релевантные метрики под конкретную задачу
Навыки разработки собственных метрик качества
Способность организовать процесс валидации диффузионных моделей
Понимание специфики оценки качества видео-генерации
Знание основных проблем и артефактов в генерации видео
Умение настраивать системы автоматической оценки качества видео
Навыки организации экспертной оценки видео-контента
Умение настраивать систему сбора и анализа продуктовых метрик
Навыки выявления проблемных паттернов в пользовательском поведении
Способность проводить A/B тестирование генеративных сервисов
Понимание методов оценки удовлетворенности пользователей

Содержание учебной дисциплины

Что такое большие генеративные модели
Генерация предсказаний LLM
Оценка качества LLM моделей
Ограничения stand-alone LLM моделей
Многофункциональный сервис на базе LLM
Агентность. Агентные системы и современные подходы к построению.
Дизайн мл-решения с использованием LLM
Количественная оценка на основе бизнес-требований
Кейсы реальных проверок и ad-hoc подход
Диффузионные модели stand-alone и как функции для сервисов
Валидация диффузионных моделей: как не стесняться и сделать свою метрику качества
Развитие генеративных визуальных моделей: генерация видео и анимации
Продуктовая аналитика генеративных сервисов

Элементы контроля

Домашнее задание №1
Процедура сдачи: Результатом работы студентов должен являться экземпляр дообученной LLM. Данный экземпляр направляется на проверку преподавателю путем электронной почтой. Преподаватель в течение недели оставляет обратную связь на выполненную работу.
Домашнее задание №2
Результатом работы студентов должен являться экземпляр .ipynb ноутбука и word-документ с планом валидации и описанием гиперпарметров ml-решения. Данный экземпляр направляется на проверку преподавателю путем электронной почтой. Преподаватель в течение недели оставляет обратную связь на выполненную работу.
Промежуточный тест (квиз) на тему диффузионных моделей
Итоговый тест

Промежуточная аттестация

2024/2025 3rd module
0.3 * Домашнее задание №1 + 0.2 * Домашнее задание №2 + 0.4 * Итоговый тест + 0.1 * Промежуточный тест (квиз) на тему диффузионных моделей

Список литературы

Авторы

Ахмедова Гюнай Интигам кызы
Яковлева Илона Александровна
Янгаличин Олег Ренатович

Программа дисциплины