Продуктовая аналитика

2026/2027

ID 1219680

Статус: Маго-лего

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 3 модуль

Охват аудитории: для своего кампуса

Язык: русский

Кредиты: 3

Контактные часы: 40

Дополнительные материалы в LMS Задать вопрос

Аннотация

Курс сфокусирован на АБ-тестировании и АБ-без-АБ как на центральных навыках продуктового аналитика. Метрики и математика — только тот минимум, без которого нельзя спроектировать и корректно прочитать эксперимент. Дальше курс идёт по жизненному циклу эксперимента: от EDA и дизайна теста к интерпретации итогов и типичным ошибкам, далее к практическому разворачиванию теста в реальном проде (свой сайт, разметка, Яндекс.Метрика, авторизованная зона), и, наконец, к методам АБ-без-АБ, когда классический тест провести нельзя. Завершается курс итоговым проектом на стыке синтетических и реальных данных.

Цель освоения дисциплины

Сформировать у студентов знания и практические навыки применения методов анализа данных для разработки, управления и совершенствования продуктов, включая сбор, обработку и интерпретацию данных.
Развить у студентов компетенции по анализу поведения пользователей, выявлению тенденций, определению ключевых метрик эффективности продукта и использованию результатов анализа для принятия обоснованных решений и улучшения пользовательского опыта.

Планируемые результаты обучения

Интерпретировать результаты A/B-тестов на основе z- и t-критериев, оценивать статистическую значимость и неопределённость полученных результатов с учётом ограничений статистических методов.
Выполнять базовые расчёты доверительных интервалов и p-value с использованием Python для анализа результатов экспериментов и принятия решений о развитии продукта.
Применять методологию построения дерева метрик для декомпозиции целей продукта, выявления факторов, влияющих на ключевые показатели, и установления взаимосвязей между метриками.
Разрабатывать дерево метрик для учебного продукта, обосновывать выбор ключевых показателей и использовать их для определения направлений развития и совершенствования продукта.
Применять Python и библиотеку pandas для обработки, очистки, агрегации и структурирования данных, а также формирования аналитических витрин.
Самостоятельно подготовить витрину данных для расчёта целевой метрики A/B-теста, обеспечив корректность структуры данных и их пригодность для последующего анализа результатов эксперимента.
Разрабатывать дизайн A/B-теста: определять единицу анализа, выбирать целевую метрику, рассчитывать необходимый размер выборки и минимально детектируемый эффект (MDE) с учётом параметров эксперимента.
Обосновывать выбор статистического критерия с учётом типа метрики и распределения данных, а также применять чек-лист для проверки корректности дизайна эксперимента до его запуска.
Выявлять типичные ошибки и риски при проведении A/B-тестов, включая peeking, novelty-эффект, Sample Ratio Mismatch (SRM) и проблемы множественного тестирования, и оценивать их влияние на достоверность результатов.
Анализировать результаты экспериментов на практических кейсах, выявлять нарушения дизайна и проведения тестов, обосновывать ограничения полученных выводов и формулировать рекомендации по принятию продуктовых решений.
Выполнять базовое развёртывание простого сайта и проверять его работоспособность после публикации.
Использовать базовые инструменты мониторинга для выявления ошибок и оценки стабильности работы сайта.
Понимать принципы запуска и проведения A/B-тестов с использованием Яндекс.Метрики, включая особенности экспериментов в авторизованной зоне.
Уметь настраивать A/B-тест на развёрнутом сайте, проверять корректность сбора данных и оценивать результаты эксперимента.
Уметь строить и интерпретировать модели панельной регрессии, объяснять смысл коэффициентов и ограничения полученных оценок.
Применять DiD и панельную регрессию для анализа практических кейсов и оценки эффекта изменений при отсутствии классического A/B-теста.
Сравнивать методы оценки причинного эффекта между собой и с классическим A/B-тестированием, учитывая их преимущества и ограничения.
Выбирать подходящий метод оценки эффекта для практической задачи, когда проведение A/B-теста невозможно, и аргументировать свой выбор.

Содержание учебной дисциплины

Метрики и продуктовый подход
Математические методы
Работа с данными
EDA и дизайн АБ-теста
Итоги АБ-теста. Ситуации при проведении
Оффлайн-контроль и деплой
Разметка на продакшене
АБ без АБ

Элементы контроля

Домашнее задание
Самостоятельная работа
Экзамен

Промежуточная аттестация

2026/2027 3rd module
Накопленная оценка = 0,4 * Домашнее задание + 0,6 * Самостоятельная работа Итоговая оценка = 0.4 * max(Накопленная оценка, Экзамен) + 0.6 * min(Накопленная оценка, Экзамен)

Список литературы

Авторы

Меликян Алиса Валерьевна
Яковлева Илона Александровна

Программа дисциплины