Хранилища данных

Бакалавриат 2026/2027

ID 1202255

Статус: Курс обязательный (Бизнес-информатика)

Кто читает: Департамент бизнес-информатики

Когда читается: 3-й курс, 1, 2 модуль

Онлайн-часы: 20

Охват аудитории: для всех кампусов НИУ ВШЭ

Преподаватели: Гюльназарян Ашот Аркадьевич, Лушенков Антон Игоревич, Пешиков Сергей Владимирович, Сухов Александр Сергеевич, Федотов Александр Александрович

Язык: русский

Кредиты: 4

Контактные часы: 48

Дополнительные материалы в LMS Задать вопрос

Аннотация

Дисциплина посвящена проектированию и разработке хранилищ данных (DWH) — фундамента современной компании, построенной на данных. Курс охватывает полный цикл создания хранилища: от выбора архитектуры до моделирования данных и разработки ETL/ELT-процессов. Изучаются классические подходы (Инмон, Кимбалл) и современные концепции (Data Vault, LakeHouse, гибридные архитектуры), многомерное моделирование (StarSchema, Snowflake, OneBigTable) и семантический слой. Технологический стек курса: PostgreSQL, dlt, dbt, PowerDesigner, Lightdash. Отдельный блок посвящен применению AI-агентов в разработке DWH (на примере Altimate) и роли человека в эпоху агентных систем. Практическая часть построена как сквозной проект на примере учебного хранилища данных банка: от аудита систем-источников до построения витрин и отчетов в BI-инструментах.

Цель освоения дисциплины

Формирование системных знаний о роли хранилищ данных в современной компании и о месте DWH в архитектуре данных организации
Овладение классическими и современными подходами к проектированию DWH (Инмон, Кимбалл, гибридные архитектуры)
Освоение методов моделирования данных: проектирование ядра хранилища в 3НФ и витрин данных (схемы «звезда» (StarSchema), «снежинка» (Snowflake), OBT, типы фактов, типы измерений)
Освоение технологий и инструментов создания DWH (PostgreSQL, dlt, dbt, PowerDesigner) и формирование навыков разработки ETL/ELT-процессов для загрузки данных в полном и инкрементальном режимах
Формирование навыков использования AI-агентов в разработке DWH и понимания роли человека в эпоху агентных систем

Планируемые результаты обучения

Объясняет роль и функции DWH в архитектуре компании и приводит примеры бизнес-задач, которые решаются с его помощью.
Сравнивает классические (Инмон, Кимбалл) и современные (Data Lake, LakeHouse) подходы к построению DWH, обосновывая их применимость для решения конкретных бизнес-задач с учетом принципов Data Governance и роли данных как актива.
Проводит профилирование и аудит систем-источников, формируя архитектурные требования к их интеграции с DWH (включая спецификации к API) на основе бизнес-контекста.
Проектирует нормализованную модель данных ядра хранилища (3НФ), обосновывая её архитектурное назначение и преимущества для консолидации корпоративных данных из разнородных источников
Проектирует витрины данных под задачи BI- и AI-аналитики: определяет гранулярность, моделирует таблицы фактов и измерения (включая SCD), аргументированно выбирая схему («звезда», «снежинка», One Big Table) на основе анализа компромиссов между производительностью и гибкостью
Использует агентскую среду разработки для задач проектирования и разработки DWH: задаёт семантический слой и контекст, выбирает режим взаимодействия с AI-агентом и оценивает качество полученных результатов
Применяет основные технические возможности оптимизации DWH: анализирует планы запросов, проектирует индексы и партиционирование таблиц
Разрабатывает ETL/ELT-процессы с использованием dlt и dbt с учетом основных паттернов и подходов; ведет совместную с AI-агентом (Altimate) разработку: формулирует задачи для агента, проверяет и дорабатывает сгенерированный им код
Формулирует сценарии использования AI-агентов в эксплуатации DWH (мониторинг процессов загрузки, оптимизация запросов, контроль качества данных (DQ), поиск аномалий), оценивая их потенциал и технические ограничения
Разрабатывает BI-отчеты и дашборды в Lightdash с использованием AI (Text-to-SQL) и семантического слоя, выявляя и минимизируя типичные риски генерации (галлюцинации, ошибки контекста, неточность SQL)

Содержание учебной дисциплины

Введение в хранилища данных и архитектура DWH
Моделирование данных: ядро хранилища и витрины данных
Технологическая платформа DWH и ETL/ELT-процессы
AI-агенты в эксплуатации DWH и AI+BI

Элементы контроля

Тест Входного Контроля и Контроль посещаемости
Оценка учитывает посещаемость. Средняя оценка за тесты входного контроля, проводимые в начале каждого семинара (кроме семинаров, на которых проводятся контрольные работы), по материалам лекций и материалов для самостоятельной подготовки.
Домашние задания
Средняя оценка за все практические домашние задания, предусмотренные на курсе. Домашние задания выполняются в учебном хранилище данных банка по образцу заданий, разобранных на семинарах.
Контрольные работы
Контрольная работа № 1 — проектирование ядра хранилища (3НФ) и витрин данных. Контрольная работа № 2 — загрузка данных полным циклом от систем-источников до витрин.
Экзамен
Письменный экзамен по итогам освоения курса, проводится очно в аудиториях ВШБ.
Активность
Оценка преподавателя за работу студента на семинарах. По итогам всех проведенных семинаров в конце курса преподаватель выставляет оценку за активность по 10-балльной шкале.

Промежуточная аттестация

2026/2027 2nd module
0.2 * Контрольные работы + 0.2 * Домашние задания + 0.4 * Экзамен + 0.05 * Активность + 0.1 * Тест Входного Контроля и Контроль посещаемости

Список литературы

Авторы

Федотов Александр Александрович

Программа дисциплины