Магистратура 2025/2026

Продуктовые метрики

Статус: Курс обязательный (Аналитика больших данных)

Кто читает: Департамент больших данных и информационного поиска

Когда читается: 2-й курс, 1 модуль

Охват аудитории: для своего кампуса

Язык: русский

Программа дисциплины

Аннотация

Эта дисциплина научит комплексно работать с продуктовой и бизнес-аналитикой: от понимания жизненного цикла продукта и приоритизации ключевых метрик до применения их в A/B-тестировании, мониторинге и маркетинговой аналитике. Вы освоите подходы к построению и внедрению BI-систем как продукта, научитесь проектировать и заполнять фреймворк Dashboard Map, подбирать релевантные типы дашбордов под разные задачи и роли, определять метрики и срезы для анализа. В рамках курса вы разберёте методики фасилитации стратегических сессий, научитесь выявлять потребности заказчика, структурировать бизнес-процессы и сущности компании, а также определять точки контроля. Практическая часть включает воркшоп и проект по Dashboard Map, где вы совместно с командой проработаете задачу заказчика и подготовите комплексное решение. Финальный проект закрепит умение применять полученные знания и инструменты для анализа продукта, формулирования гипотез, обоснования выводов и подготовки рекомендаций на основе данных.

Цель освоения дисциплины

• Студенты научатся определять этапы жизненного цикла продукта, соотносить с ними задачи аналитика, проводить декомпозицию метрик и устанавливать их приоритеты с учётом стратегии продукта.
• Студенты научатся формировать корректный набор метрик для A/B-тестирования, разрабатывать дизайн эксперимента, а также применять статистические методы и STL-декомпозицию для мониторинга и выявления аномалий.
• Студенты научатся рассчитывать и анализировать метрики привлечения пользователей, решать задачи атрибуции и использовать когортный анализ для оценки поведения и удержания аудитории.
• Студенты научатся описывать архитектуру и компоненты BI-систем, подбирать методологии их внедрения и рассматривать BI-системы как продукт, встроенный в аналитическую инфраструктуру компании.
• Студенты научатся проектировать и заполнять Dashboard Map, определять роли бизнес-пользователей, сущности, продукты, бизнес-процессы и точки контроля, подбирать типы дашбордов и метрики под конкретные задачи, фасилитировать стратегические сессии и формировать action plan.
• Студенты научатся в команде и самостоятельно применять аналитические инструменты и подходы для построения дашбордов, анализа данных, формулирования гипотез, обоснования выводов и разработки продуктовых рекомендаций.

Планируемые результаты обучения

• Понимает модель жизненного цикла продукта и её ключевые этапы
• Соотносит задачи аналитика с этапами жизненного цикла продукта
• Может определить уровень аналитической зрелости компании, понимает зону ответственности и типовые задачи, решаемые аналитической командой на каждом из уровней
• Применяет декомпозицию метрик по ключевым срезам для поиска причин изменений
• Понимает принципы фреймворка North Star Metric и модели пирамиды метрик
• Умеет рассчитывать продуктовые метрики для разных доменов
• Выстраивает уровни приоритетов для набора продуктовых метрик
• Обосновывает приоритеты на основе жизненного цикла и стратегии продукта
• - Понимает требования, предъявляемые к метрикам в a/b-тестировании
• - Знает классификацию метрик с точки зрения принятия решений в продуктовых экспериментах
• - Формирует набор метрик для проведения A/B‑теста, включая прокси‑метрики
• - Знает подходы корректного анализа ratio-метрик в a/b-тестировании
• - Разрабатывает дизайн эксперимента: обосновывает набор метрик, выбирает единицу рандомизации и рассчитывает длительность тестирования
• - Понимает требования к процессам и инфраструктуре мониторинга продуктовых метрик
• - Применяет статистические методы для обнаружения аномалий
• - Понимает, что такое метод STL‑декомпозиции и как он применяется для анализа временных рядов
• Понимает ключевые метрики привлечения пользователей
• Понимает проблемы атрибуции и знает основные подходы к их решению
• Знаком с когортным анализом как подходом к анализу пользовательского поведения
• Применяет изученные аналитические подходы для решения комплексного продуктового кейса
• Формулирует гипотезы на основе проведенного анализа
• Обосновывает выводы и предлагает рекомендации для продукта, опираясь на результаты анализа
• -понимает, какие задачи решает внедрение BI-системы
• - знает методологии внедрения BI-системы
• - знает из каких компонентов состоит BI-система
• - понимает, что значит относиться к BI-системе как к продукту
• - понимает, из каких этапов состоит алгоритм создания Dashboard Map
• - знает, какие навыки нужны для работы с Dashboard Map
• - знает границы применения Dashboard Map (количество пользователей)
• - понимает, как связаны фреймворки Dashboard Map и Dashboard Canvas
• - знает, кого приглашать на стратегическую сессию составлению по Dashboard Map
• - знает способы определения ролей бизнес-пользователей
• - знает что роль не равно должность, один человек может выполнять несколько ролей
• - понимает, что такое сущности
• - понимает, что такое бизнес-процессы
• - понимает что такое продукты
• - понимает как выделять точки контроля в бизнес-процессах
• - знает, что представляют собой 7 типов дашбордов: алерты, овервью, страницы сущностей, аналитические, эксперименты, self-service, дашборды по направлениям
• - умеет подбирать тип дашборда под задачу
• - знает источники информации для сбор метрик и срезов
• - знает, на какие критерии нужно опираться при составлении метрик и срезов
• - умеет определять метрики и срезу для конкретной задачи
• - понимает, как подготовиться к стратегической сессии по составлению Dashboard Map
• - знает лучшие практики проведения сессии (получил чек-лист)
• - знает способы приоритизации дашбордов в конце стратегической сессии
• - понимает, как составить action plan для завершения стратегической сессии
• - совместно с командой умеют задавать вопросы заказчику для выявления задачи в процессе стратегической сессии, находясь в диалоге с заказчиками
• - совместно с командой умеют выделять роли бизнес-пользователей и заполнять соответствующий раздел Dashboard Map
• - совместно с командой умеют выделять подразделение, сущности, продукты и бизнес-процессы и заполнять соответствующий раздел Dashboard Map
• - совместно с командой умеют подбирать дашборды для решения задачи заказчика, опираясь на собранную информацию и и заполнять соответствующий раздел Dashboard Map
• - умеет подбирать релевантные типы дашбордов под заданные условия (роли, продукты, сущности, бизнес-процессы), заполняя соответствующую часть DashboardMap
• Студенты научатся определять, какие AI-инструменты для визуализации данных доступны на рынке, и понимать их функциональные особенности
• Студенты смогут применять AI-инструменты (ChatGPT, Claude, Julius, Google Colab, DataLore и др.) для обработки данных и построения визуализаций
• Студенты научатся создавать прототипы чат-ботов для работы с данными, подключая API LLM-моделей и реализуя системы Q&A
• Студенты освоят использование AI для генерации кастомных графиков и дашбордов на JavaScript, а также определение случаев, когда AI может заменить BI-инструменты
• Студенты смогут разрабатывать и встраивать кастомные графики в DataLens с использованием AI, включая настройку ChartEditor
• Студенты научатся оценивать возможности и ограничения AI-инструментов в задачах визуализации, выбирать подходящие решения для бизнес-кейсов

Содержание учебной дисциплины

• Роль аналитика в развитии продукта
• Приоритизация метрик
• Метрики в A/B тестировании
• Мониторинг метрик и детекция аномалий
• Маркетинговая аналитика в it продукте
• Финальный проект
• BI-система как продукт
• Алгоритм создания Dashboard Map
• Роли бизнес-пользователей системы отчетности
• Анализ продуктов, бизнес-процессов и сущностей компании
• Какие типы дашбордов бывают и какие задачи они решают
• Метрики и срезы
• Фасилитация
• Воркшоп "Заполнение фреймворка Dashboard map"
• Итоговый минипроект по блоку Dashboard Map
• Вебинар "Обзор AI-инструментов для визуализации данных"

Элементы контроля

• Домашнее задание к разделам (урокам) 7-13. Квиз на закрепление основных понятий урока.
  44 тестовых заданий: 7 урок - 6 заданий, 8 урок - 4 задания, 9 урок - 4 задания, 10 урок - 7 заданий, 11 урок - 11 заданий, 12 урок - 5 заданий, 13 урок - 7 заданий.
• Домашнее задание к разделам (урокам) 1-10. Практические задания по работе с Jupyter ноутбуком.
  4 практических задач: 1 урок - 1 задание, 2 урок - 1 задание, 3 урок - 1 задание, 4 урок - 1 задание.
• Финальные проекты блоков к разделу (уроку) 6 и 15.
  Итоговые задания дисциплины для составления Dashboard Map (операционная аналитика) и выполнения комплексного проектного задания по продуктовым метрикам.

Промежуточная аттестация

• 2025/2026 1st module
  Итоговая оценка соответствует сумме баллов за выполненные задания на LMS karpov.courses и LMS ВШЭ, приведенные к 10-балльной шкале (см. таблицу). Для каждого задания на LMS-платформе karpov.courses определён дедлайн в 14 календарных дней, после наступления которого студенту начисляется 70% от итогового балла за задание. Для домашних заданий на LMS ВШЭ дедлайн составляет 14 календарных дней, без возможности отправить решение по истечении. Для финального проекта на LMS ВШЭ дедлайн составляет 21 календарный день, без возможности отправить решение по истечении.

Список литературы

Рекомендуемая основная литература

• Инновационный продукт: инструменты маркетинга : Учеб. пособие, Стерхова, С.А., 2009

Рекомендуемая дополнительная литература

• Методы и модели маркетинго-ориентированного управления жизненным циклом продукта : автореф. дис. ... д-ра экон. наук : 08.00.13, Павлов, Н. В., 2011

Авторы

• Ахмедова Гюнай Интигам кызы