• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
2025/2026

Измерения, оценивание, аналитика в EdTech

Статус: Майнор
Охват аудитории: для всех кампусов НИУ ВШЭ
Язык: русский
Контактные часы: 50

Программа дисциплины

Аннотация

Как понять, что в образовательном продукте реализовано на высоком уровне, а что требует доработки? Начать стоит с измерений и аналитики. На курсе вы познакомитесь с метриками обучения, научитесь их считать, интерпретировать и критически оценивать. Разберетесь, как на основе данных формулировать и проверять гипотезы, проектировать опросы и анализировать результаты. Освоите базовые подходы к работе с данными продукта и их визуализации, чтобы использовать аналитику для реальных улучшений EdTech-продуктов.
Цель освоения дисциплины

Цель освоения дисциплины

  • Сформировать представление о ключевых метриках обучения, научиться интерпретировать и анализировать их динамику, а также выявлять на основе данных проблемы и возможности развития образовательного продукта.
  • Научиться формулировать проверяемые гипотезы и подбирать количественные методы для их верификации в условиях ограниченных данных.
  • Научиться проектировать и проводить опросы: определять цели, разрабатывать вопросы, выбирать формат и оформление анкеты.
  • Получить навыки анализа данных образовательного продукта, визуализации результатов в дашбордах и представления обоснованных рекомендаций по улучшению продукта в форме презентации заказчику.
Планируемые результаты обучения

Планируемые результаты обучения

  • Определяет ключевые метрики обучения, описывает их назначение и способы расчёта.
  • Умеет интерпретировать метрики обучения и оценивать их динамику в образовательных продуктах.
  • Выявляет потенциальные проблемы и зоны роста продукта на основе анализа метрик обучения.
  • Формулирует проверяемые гипотезы, исходя из анализа метрик.
  • Проектирует опросы: формулирует цель, разрабатывает корректные вопросы, выбирает корректные формат и визуализацию анкеты.
  • Проводит анализ данных образовательного продукта: подготавливает, очищает, описывает данные и выявляет закономерности.
  • Визуализирует результаты анализа с помощью дашбордов и готовит презентацию с выводами и рекомендациями для заказчика.
Содержание учебной дисциплины

Содержание учебной дисциплины

  • Метрики обучения в EdTech
  • Гипотезы и их проверка. Проектирование опроса
  • Введение в аналитику и визуализацию
Элементы контроля

Элементы контроля

  • неблокирующий Активность
    Элемент активности направлен на контроль вовлеченности студентов.
  • неблокирующий Тест по метрикам
    Вам нужно ответить на вопросы по метрикам: выбрать один правильный вариант, выбрать несколько правильных вариантов, дать краткий ответ (в том числе произведя перед этим необходимые расчёты). Тест направлен на контроль понимания основных метрик обучения и умения рассчитывать данные метрики. Всего в тесте 10 вопросов, время на выполнение - 15 мин.
  • неблокирующий Кейс по метрикам
  • неблокирующий Тест по опросам
    Вам нужно ответить на вопросы по принципам создания опросного инструмента: выбрать один правильный вариант, выбрать несколько правильных вариантов, дать краткий ответ. Тест направлен на контроль понимания и применения принципов проектирования опроса, написания вопросов и их визуализации. Всего в тесте 10 вопросов, время на выполнение - 15 мин.
  • неблокирующий Проект Опрос
    В EdTech-компаниях исследователь часто получает на руки аналитический отчёт с ключевыми метриками курса. На основе этих данных нужно сформулировать гипотезы о проблемах или точках роста продукта и предложить исследовательские инструменты для их проверки. Один из таких инструментов - опрос студентов. Ваша задача: Изучить предоставленный кейс с контекстом курса и его метриками. Сформулировать не менее трёх гипотез о возможных проблемах, опираясь на метрики. Спроектировать опрос, который позволит проверить эти гипотезы количественными методами. Подготовить обоснования включения вопросов/блоков вопросов в соответствии с гипотезами и метриками.
  • неблокирующий Презентация заказчику
    Вам, как аналитику, предстоит ответить на вопросы заказчика. Для этого вам надо провалидировать гипотезы с помощью данных и помочь выбрать те, которые обладают наибольшим потенциалом для роста продукта. Используйте изученные методики анализа данных. Результатом вашего исследования будет оформленная презентация с выводами, наблюдениями и рекомендациями по гипотезам. Чтобы ваши наблюдения были аргументированными, а коллегам было удобно следить за разными сегментами продукта, вам предстоит разработать дашборды. На основе разработанного дашборда и проведённого анализа данных, необходимо сделать презентацию для заказчика, и устно представить её.
Промежуточная аттестация

Промежуточная аттестация

  • 2025/2026 2nd module
    0.1 * Активность + 0.1 * Активность + 0.2 * Кейс по метрикам + 0.3 * Презентация заказчику + 0.2 * Проект Опрос + 0.05 * Тест по метрикам + 0.05 * Тест по опросам
Список литературы

Список литературы

Рекомендуемая основная литература

  • Cohen, L., Manion, L., & Morrison, K. (2018). Research Methods in Education (Vol. Eighth edition). New York: Routledge. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1614634
  • Data Analytics and Decision-Making in Education: Towards the Educational Data Scientist as a Key Actor in Schools and Higher Education Institutions. (2017). Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.9E72BB47
  • Математические методы психологического исследования : анализ и интерпретация данных: учеб. пособие, Наследов, А. Д., 2006

Рекомендуемая дополнительная литература

  • ElAtia, S., Ipperciel, D., & Zaiane, O. R. (2017). Data Mining and Learning Analytics : Applications in Educational Research. Hoboken, New Jersey: Wiley. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1351385
  • Gideon, L. (2012). Handbook of Survey Methodology for the Social Sciences. New York: Springer. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=534934
  • Джин Желязны - Говори на языке диаграмм - 9785001002628 - МИФ - 2016 - https://hse.miflib.ru/#/book/1996 - 1996
  • Пашкевич, А. В. Теория вероятностей и математическая статистика для социологов и менеджеров : учебник / А. В. Пашкевич , под редакцией А. А. Макарова. — Москва : МЦНМО, 2021. — 351 с. — ISBN 978-5-4439-3520-1. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/267710 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.

Авторы

  • Гетман Александра Витальевна
  • Вырва Елена Евгеньевна