A/B-тестирование: углубленный курс

Магистратура 2025/2026

Статус: Курс обязательный (Аналитика больших данных)

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 2-й курс, 1 модуль

Охват аудитории: для своего кампуса

Язык: русский

Контактные часы: 28

Дополнительные материалы в LMS Задать вопрос

Аннотация

Дисциплина для джуниор+/миддл-аналитиков, которые хотят систематизировать и углубить свои знания в А/В-тестировании, внедрить А/В-тесты на работе, а также научиться применять аналитические подходы Diff-in-Diff, Causal Impact и PSM, которые помогут оценить эффект от изменений в ситуациях, когда проведение классического A/B-теста невозможно.

Цель освоения дисциплины

Студенты научатся проводить A/B-тесты от этапа формулировки гипотез до финального анализа результатов, используя платформу A/B-тестирования, Google Sheets и Jupyter Notebook;
Студенты разберутся в ключевых понятиях математической статистики, включая точечные оценки, стандартное отклонение, дисперсию, нормальное распределение и принципы проверки гипотез;
Студенты овладеют методами расчёта размера выборки, минимально детектируемого эффекта (MDE) и научатся проектировать эксперименты с учётом продолжительности, чувствительности и корректного распределения пользователей;
Студенты научатся использовать доверительные интервалы, тест Стьюдента и Bootstrap-методы для оценки статистической значимости изменений и проверки гипотез в реальных данных;
Студенты получат практические навыки повышения чувствительности экспериментов за счёт фильтрации выбросов, стратификации, пост-стратификации и применения метода CUPED;
Студенты освоят подходы к работе с метриками, включая выбор целевых, контрольных и вспомогательных метрик, построение иерархий метрик и анализ метрик отношения с использованием дельта-метода и линеаризации;
Студенты изучат методы causal inference, включая Diff-in-Diff, Causal Impact и Propensity Score Matching, и научатся применять их в ситуациях, где невозможны классические A/B-тесты.

Планируемые результаты обучения

Студенты научатся объяснять, что такое A/B-тестирование и как его использовать для принятия решений на основе данных.
Студенты научатся интерпретировать статистические критерии, включая понятия нулевой и альтернативной гипотезы, уровня значимости и p-value.
Студенты научатся применять тест Стьюдента в задачах A/B-тестирования и разбираться в его формуле, допущениях и распределении.
Студенты научатся проверять корректность применения t-теста с помощью синтетических и исторических данных.
Студенты научатся выявлять ограничения теста Стьюдента и оценивать, подходит ли он для конкретного эксперимента
Познакомимся с учебной платформой А/B-тестирования
Рассмотрим несколько способов принятия решений. Узнаем, чем хорошо А/B-тестирование
Вспомним базовые определения из математической статистики: случайная величина, выборка, распределение случайной величины, статистика, среднее, дисперсия, стандартное отклонение, точечная оценка
С помощью данных ответим на вопросы о том, какие товары входят в топ3 по выручке и какова доля пользователей, возвращающихся в течение месяца
- Узнаем что такое гипотеза и эффект эксперимента
- Узнаем как проверять гипотезы с помощью A/B тестирования
- Узнаем что такое ошибки I и II рода, мощность и уровень значимости
- Познакомимся с тестом Стьюдента. Узнаем что такое p-value
- Узнаем, как пользоваться p-value
- Научимся применять тест Стьюдента и вычислим p value для одного эксперимента
- Узнаем что такое дизайн эксперимента
- Узнаем что как оценивать размер групп и минимальный ожидаемый эффект
- Обсудим нюансы выборки периода проведения эксперимента и подбора групп
- Научимся оценивать необходимый размер групп для эксперимента
- Узнаем как проверять корректность дизайна A/B теста
- Разберём что такое синтетические АА и A/B тесты
- Изучим и сравним разные способы добавления эффекта для оценки вероятности ошибки второго рода
- Научимся оценивать ошибки первого и второго рода
- Узнаем что такое доверительный интервал
- Рассмотрим три способа построения доверительного интервала
- Узнаем что такое бутстреп, как с его помощью проверять гипотезы, его плюсы и минусы
- Проверим ряд гипотез с разными метриками с помощью Bootstrap
- Обсудим, что такое чувствительность тестов и как она связана с дисперсией данных
- Узнаем, что такое выбросы, как они влияют на чувствительность эксперимента и как с ними можно работать
- Исследуем как влияет удаление выбросов на результаты эксперимента
- Вспомним, что такое конкретная гипотеза
- Узнаем, что такое целевая, вспомогательная и контрольная метрики
- Обсудим свойства метрик
- Обсудим, как выбирать метрики
- Узнаем, как можно систематизировать метрики с помощью иерархии метрик
Разработаем способ вычисления метрики в сложном кейсе с помощью задачи про лифт
- Изучим способ повышения чувствительности - стратификацию
- Рассмотрим стратификацию и постстратификацию
- Узнаем что такое обычное среднее и стратифицированное среднее
- Узнаем что такое случайно и стратифицированное сэмплирование
- Обсудим способы формирования страт для получения наибольшей чувствительности
- Реализуем функцию стратифицированного распределения клиентов по группам
- Изучим способ повышения чувствительности - CUPED
- Обсудим как выбирать ковиату
- Оценим эксперимент с применением CUPED
Применим методы для вычисления CUPED-метрики
- Обсудим как проверять несколько гипотез одновременно
- Узнаем что такое совместные и несовместные эксперименты
- Разберём поправку Бонферрони-Холма для множественного тестирования
- Узнаем что такое Кенери деплоймент
Оценим количество зависимых и независимых экспериментов, которые можно запустить параллельно
- Обсудим подходы к распределению пользователей по экспериментам
- Рассмотрим одномерную и многомерную схемы распределения пользователей
- Узнаем, зачем применяется метод распределения экспериментов по бакетам
- Применим метод распределения экспериментов по бакетам
- Узнаем, почему тест Стьюдента не работает с метрикой отношения
- Разберем дельта-метод и линеаризацию
- Научимся оценивать эксперименты с метрикой отношения
- Оценим эксперимент с использованием метода линеаризации
- Обсудим полный пайплайн A/B тестирования.
- Разберём чек-лист: что делать до, во время и после окончания эксперимента.
Научится проводить полный пайплайн исследования
В случаях, когда невозможно корректно применить рандомизированные АБ-тесты, умеет использовать методики causal inference, в частности diff-in-diff
Знает теорию causal inference
Находит альфа и бета Diff in Diff методики (Через симуляции на ретроспективных данных рассчитывает возможные альфа и бета при таких методиках)
По данным симуляции оценивает MDE методики Diff in Diff
Оценивает ожидаемое время, необходимое для теста
Применяет базовый алгоритм diff-in-diff
Умеет применять базовый алгоритм causal impact
Знает теорию causal impact
Находит альфа и бета методики Causal Impact
Оценивает MDE методики Causal Impact
Правильно подбирает ковариаты
Умеет применять базовый алгоритм PSM
Знает теорию PSM
Находит альфа и бета методики Propensity Score matching
Оценивает чувствительность методики

Содержание учебной дисциплины

Вебинар "Введение в А/Б-тесты: тест Стьюдента"
Знакомство с платформой а/б-тестирования. Основы статистики
Семинар Основы статистики
Проверка гипотез
Семинар Проверка гипотез
Дизайн эксперимента. MDE. Sample Size
Семинар Sample Size
Тестирование дизайна
Семинар Тестирование дизайна
Доверительные интервалы
Семинар Доверительные интервалы
Повышение чувствительности тестов
Семинар Повышение чувствительности тестов
Выбор метрик
Семинар Выбор метрик
Стратификация
Семинар Стратификация
CUPED
Семинар CUPED
Множественное тестирование
Семинар Множественное тестирование
Сплитилка трафика
Семинар Сплитилка трафика
Анализ метрик отношения
Семинар Анализ метрик отношения
Полный пайплайн А/В-тестирования
Финальный тест
Методики сausal inference. Методика Diff in Diff
Методика Causal Impact
Методика Propensity Score matching (PSM)

Элементы контроля

Домашнее задание к разделам (урокам) 2-30. Квиз на закрепление основных понятий урока.
62 тестовых задания: 2 урок - 4 задания, 4 урок - 10 заданий, 6 урок - 3 задания, 8 урок - 3 задания, 10 урок - 4 задания, 12 урок - 1 задание, 14 урок - 6 заданий, 16 урок - 7 заданий, 18 урок - 2 задания, 20 урок - 3 задания, 22 урок - 4 задания, 24 урок - 3 задания, 28 урок - 3 задания, 29 урок - 4 задания, 30 урок - 5 заданий.
Домашнее задание к р. (урокам) 2-30. Практические задания по вычислениям для проведения А/В-тестов.
103 практических задач: 2 урок - 6 заданий, 3 урок - 6 заданий, 4 урок - 6 заданий, 5 урок - 3 задания, 6 урок - 3 задания, 7 урок - 3 задания, 8 урок - 3 задания, 9 урок - 5 заданий, 10 урок - 1 задание, 11 урок - 2 задания, 12 урок - 4 задания, 13 урок - 3 задания, 14 урок - 2 задания, 15 урок - 3 задания, 16 урок - 5 заданий, 17 урок - 3 задания, 18 урок - 6 заданий, 19 урок - 2 задания, 20 урок - 1 задание, 21 урок - 2 задания, 23 урок - 2 задания, 24 урок - 2 задания, 25 урок - 2 задания, 26 урок - 2 задания, 28 урок - 7 заданий, 29 урок - 10 заданий, 30 урок - 9 заданий.
Финальное тестирование по А/В-тестам (27 урок).
Студентам предоставляется финальное тестирование из 26 заданий, который проверит их знания и навыки проведения полного пайплайна тестирования.

Промежуточная аттестация

2025/2026 1st module
Итоговая оценка соответствует сумме баллов за выполненные задания на LMS karpov.courses, приведенные к 10-балльной шкале (см. таблицу). Для каждого задания на LMS-платформе karpov.courses определён дедлайн в 14 календарных дней, после наступления которого студенту начисляется 70% от итогового балла за задание.

Список литературы

Авторы

Ахмедова Гюнай Интигам кызы

Программа дисциплины