Магистратура
2025/2026
Теория и практика онлайн-экспериментов
Статус:
Курс обязательный (Аналитика больших данных)
Где читается:
Факультет компьютерных наук
Когда читается:
2-й курс, 1 модуль
Охват аудитории:
для своего кампуса
Преподаватели:
Паточенко Евгений Анатольевич
Язык:
русский
Кредиты:
3
Контактные часы:
28
Программа дисциплины
Аннотация
В рамках данного курса студенты узнают о том, что такое онлайн-эксперименты, зачем их проводить, как их проводить, а также детально пройдут теорию, которая стоит за онлайн-экспериментами. На курсе мы постараемся обсудить интуицию, которая стоит за всеми статистическими методами, используемыми в А/Б тестах и других задачах, где мы пытаемся сравнить две сущности.
Цель освоения дисциплины
- Знать и понимать статистические основы стоящие за онлайн-экспериментами
- Знать и понимать что такое онлайн-эксперименты
- Знать, понимать как ускорить эксперимент и уметь их ускорять
Планируемые результаты обучения
- Иметь представление метрике процесса, метрики проекта, метрики продукта
- Уметь выразить бизнес-цели через метрики продукта.
- Студент ориентируется в существующих моделях монетизации приложений и умеет рассчитывать основные метрики продукта
- Понимать метрики продукта и как работать с аналитическими инструментами
- Умеет выполнять статистические тесты анализа временных рядов
- - Обсудим, как выбирать метрики
- Проектирует дизайн экспериментов для образовательного продукта, выбирает варианты экспериментов, определяет контрольные переменные
Содержание учебной дисциплины
- Лекция. Введение в эксперименты, дизайн экспериментов и связь с гипотезами
- Семинар. Введение в эксперименты, дизайн экспериментов и связь с гипотезами
- Лекция. Метрики продукта, роста и эксперимента. Что почему и как?
- Семинар. Метрики продукта, роста и эксперимента. Что почему и как?
- Лекция. Подбор групп, статистические тесты, что такое хорошая сплит система.
- Семинар. Подбор групп, статистические тесты, что такое хорошая сплит система.
- Лекция. Прокси метрики и алгоритм их подбора, разные подходы к дизайну сплит систем.
- Семинар. Прокси метрики и алгоритм их подбора, разные подходы к дизайну сплит систем.
- Лекция. Расчет размера выборки для t-test. Подход к расчету через симуляцию.
- Семинар. Расчет размера выборки для t-test. Подход к расчету через симуляцию.
- Лекция. Ratio-метрики и проблема зависимых данных в t-test. Оценка дисперсии и связь с дельта-методом.
- Семинар. Ratio-метрики и проблема зависимых данных в t-test. Оценка дисперсии и связь с дельта-методом.
- Лекция. Линеаризация. Оценка экспериментов с квантилями.
- Финальный проект дисциплины
Элементы контроля
- Практические задания к разделам (урокам) 1-14.7 практических задач: 2 урок - 1 задание, 4 урок - 1 задание, 6 урок - 1 задание, 8 урок - 1 задание, 10 урок - 1 задание, 12 урок - 1 задание, 14 урок - 1 задание.
- Итоговое задание модуля.15 урок - 1 комплексная практическая задача.
Промежуточная аттестация
- 2025/2026 3rd moduleИтоговая оценка соответствует сумме баллов за выполненные задания на LMS karpov.courses, приведенные к 10-балльной шкале (см. таблицу). Для каждого задания на LMS-платформе karpov.courses определён дедлайн в 14 календарных дней, после наступления которого студенту начисляется 70% от итогового балла за задание.
