Современные технологии хранения данных

Магистратура 2026/2027

ID 1184675

Статус: Курс обязательный (Прикладные модели искусственного интеллекта)

Кто читает: Департамент прикладной математики

Где читается: Московский институт электроники и математики им. А.Н. Тихонова

Когда читается: 2-й курс, 1, 2 модуль

Охват аудитории: для всех кампусов НИУ ВШЭ

Язык: русский

Кредиты: 6

Контактные часы: 40

Дополнительные материалы в LMS Задать вопрос

Аннотация

Курс посвящен современным технологиям хранения и обработки данных в масштабе. Рассматриваются архитектурные подходы к построению хранилищ данных: от реляционных СУБД и Data Warehouse к концепциям Data Lake и Lakehouse на основе облачных объектных хранилищ и открытых табличных форматов (Apache Iceberg, Delta Lake). Изучаются инструменты аналитической обработки данных — PostgreSQL, ClickHouse и MPP-системы, Apache Spark — и построение современных ELT-пайплайнов с использованием Apache Airflow и dbt. Отдельное внимание уделяется потоковой обработке данных (Apache Kafka, Spark Streaming), захвату изменений (CDC, Debezium) и контролю качества данных. Курс также охватывает алгоритмические основы анализа больших данных: приближенные методы (MinHash, LSH, SimHash), распределенную кластеризацию и классификацию (K-Means, XGBoost на Spark), рекомендательные системы на основе матричной факторизации (ALS). Практическая составляющая курса реализована через работу с реальными наборами данных в среде PySpark, ClickHouse и Kafka.

Цель освоения дисциплины

Освоение современного стека технологий хранения, интеграции и распределенной обработки данных, а также алгоритмических методов анализа больших данных, необходимых для проектирования и эксплуатации масштабируемых data-платформ.

Планируемые результаты обучения

Студенты знают принципы проектирования корпоративных хранилищ данных (DWH): слоистую архитектуру (Raw/ODS/DDS/витрины), подходы к моделированию (схемы «звезда» и «снежинка» по Kimball, Data Vault 2.0, SCD). Понимают парадигму ELT и умеют строить пайплайны данных с использованием Apache Airflow и dbt.
Знает внутреннее устройство PostgreSQL: механизмы MVCC, WAL, индексы, секционирование, репликацию (Patroni). Владеют навыками администрирования, оптимизации запросов (EXPLAIN/ANALYZE) и обеспечения высокой доступности PostgreSQL.
Студенты знают принципы колоночного хранения и архитектуру ClickHouse (семейство движков MergeTree, материализованные представления, интеграции с внешними системами). Понимают отличия OLAP-колоночных СУБД от строковых и их место относительно класса NoSQL. Знают принципы массивно-параллельных систем (MPP) на примере Greenplum/Arenadata DB.
Студенты знают архитектуру Apache Spark (драйвер, executors, менеджер ресурсов) и модели данных RDD/DataFrame/Dataset. Понимают принципы потоковой обработки данных: архитектуру Apache Kafka, гарантии доставки сообщений, захват изменений (CDC, Debezium). Ориентируются в смежных технологиях (Apache Flink, Cassandra, MongoDB, NewSQL) как контексте выбора технологии под задачу.
Студенты владеют навыками контроля качества данных: умеют применять инструменты проверок (Great Expectations / Soda) и понимают концепцию контрактов данных.
Студенты понимают фундаментальные ограничения алгоритмов на больших данных: однопроходные алгоритмы, модель BSP, приближенные методы, сложность по коммуникациям и памяти. Знают классические задачи анализа больших данных: кластеризацию, классификацию, рекомендательные системы, приближенный подсчет.
Студенты знают методы поиска похожих элементов: меру Жаккара, MinHash, Locality-Sensitive Hashing (LSH), SimHash. Умеют применять их для обнаружения дубликатов и кластеризации текстовых данных в распределенной среде.
Студенты знают алгоритмы распределенной кластеризации (K-Means, K-Means++, BIRCH, DBSCAN) и их реализации в среде Apache Spark (PySpark, Spark MLlib).
Студенты знают методы распределенной классификации: логистическую регрессию с SGD, случайные леса и XGBoost на Spark. Владеют навыками настройки гиперпараметров через кросс-валидацию, оценки качества моделей на больших данных и анализа кривых обучения.
Студенты понимают принципы матричной факторизации и алгоритма ALS (Alternating Least Squares) для построения рекомендательных систем. Умеют настраивать и оценивать модель ALS на реальных данных, включая обработку холодного старта и оценку качества по метрикам precision@k, recall@k, MAP.

Содержание учебной дисциплины

Архитектура хранилищ данных: от Data Lake к Lakehouse
Системная аналитика и моделирование DWH. ELT-пайплайны
PostgreSQL как DWH-движок и администрирование
Колоночная аналитика: ClickHouse и MPP-системы
Распределенная и потоковая обработка данных. Качество данных
Введение в алгоритмы анализа больших данных
Поиск похожих элементов и Locality-Sensitive Hashing (LSH)
Кластеризация
Классификация в распределенной среде
Рекомендательные системы (ALS)

Элементы контроля

SUM_7_Домашние задания
Описание: SUM_7_Домашние задания - сумма баллов, полученных за домашние задания. Суммарно можно получить максимум 70 баллов.
SUM_2_Тесты
Описание: SUM_2_Тесты - сумма баллов, полученных за тесты. Суммарно можно получить максимум 10 баллов.
Экзамен
Описание: За экзамен можно получить максимум 20 баллов.

Промежуточная аттестация

2026/2027 2nd module
Формула оценивания: SUM_7_Домашние задания (макс. 70 баллов) + SUM_2_Тесты (макс. 10 баллов) + Экзамен: Практическая работа (макс. 20 баллов). Максимум на занятиях можно набрать 100 баллов. Набранные баллы переводятся в 10-балльную оценку ВШЭ по следующей шкале: 10 –от 95 до 100, 9 –от 85 до 94, 8 –от 80 до 84, 7 –от 65 до 79, 6 –от 60 до 64, 5 –от 45 до 59, 4 –от 40 до 44, 3 –от 25 до 39, 2–от 15 до 24, 1 –от 5 до 14, 0 –от 0 до 4

Список литературы

Авторы

Титова Наталия Николаевна
Юнышева Анастасия Владимировна
Сластников Сергей Александрович

Программа дисциплины