Системы хранения данных

Магистратура 2026/2027

ID 1141602

Статус: Курс обязательный (Инженерия данных)

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 2-й курс, 1, 2 модуль

Охват аудитории: для своего кампуса

Преподаватели: Масленников Даниил Игоревич

Язык: русский

Кредиты: 6

Контактные часы: 40

Дополнительные материалы в LMS Задать вопрос

Аннотация

Курс предоставляет студентам углублённые знания о различных архитектурах и типах систем хранения данных, а также о базах данных и хранилищах данных для обработки больших объёмов информации. Особое внимание уделяется современным подходам к организации хранения и обработки данных, включая аналитические хранилища (DWH), Data Lake, гибридные архитектуры Lakehouse и облачные решения. В рамках курса рассматриваются методы проектирования и моделирования данных, инструменты распределённой и потоковой обработки, а также способы оптимизации производительности систем хранения данных, включая настройку запросов и конфигураций баз данных. Студенты познакомятся с принципами обеспечения отказоустойчивости, масштабируемости, безопасности и управления доступом к данным. Курс включает практические задания, в ходе которых студенты будут проектировать модели данных, разрабатывать и настраивать системы хранения и обработки данных, а также проводить анализ и оптимизацию существующих решений.

Цель освоения дисциплины

Изучить современные архитектуры хранения данных, включая гибридные модели, и основные принципы их построения.
Освоить подходы к проектированию и реализации моделей данных с использованием современных инструментов и технологий.
Изучить основные форматы хранения данных и особенности их применения.
Освоить принципы работы распределённых систем хранения и обработки больших данных.
Научиться организовывать хранение и обработку разнородных данных с использованием различных форматов и технологий.
Изучить основные подходы к потоковой обработке данных, обеспечению безопасности и управлению доступом.
Познакомиться с особенностями использования облачных хранилищ данных и возможностями интеграции ML-инструментов.

Планируемые результаты обучения

- различать основные типы систем хранения данных: реляционные базы данных (RDBMS), хранилища данных (DWH), Data Lake, Lakehouse
- выбирать подходящее хранилище данных в зависимости от задач бизнеса или аналитики
- визуализировать архитектуру хранения данных для бизнес-кейсов
-описывать ключевые подходы к проектированию DWH: Inmon (центрированное на всей компании хранилище) и Kimball (доменные витрины данных, «снизу вверх»)
-оценивать влияние выбранной архитектуры на производительность операций, масштабируемость и поддерживаемость
-готовить проектные решения
-работать с конкретными сценариями использования различных подходов (Inmon, Kimball) в условиях ограниченных ресурсов или быстрорастущих данных
-определять факты и измерения применительно к различным бизнес-сценариям, формулировать требования к аналитике
-проектировать базовые размерные модели для кейсов бизнеса
-создавать схемы “звезда” и “снежинка” для типовых задач, выделять и связывать таблицы фактов и измерений
-анализировать бизнес-кейсы и выбирать оптимальный уровень детализации (grain) для хранения данных
-оценивать производительность аналитических запросов и находить способы ее улучшения через корректировку модели
-различать и визуализировать компоненты Data Vault (хабы, линк-таблицы, сателлиты) в архитектуре хранилища для заданных бизнес-сценариев
-определять, какие данные должны быть хабами, какие — линками, а какие — сателлитами при моделировании нового источника информации
-проектировать схему Data Vault для простых кейсов (например, добавление новой системы учёта клиентов или транзакций
-оценивать, когда и почему Data Vault предпочтительнее классического подхода
создавать и запускать проекты DBT
писать кастомные SQL-модели для трансформации данных
-реализовывать тестирование моделей данных
документировать и визуализировать инфраструктуру данных
-выполнять базовый анализ качества данных на предоставленных наборах данных
-использовать методы выявления ошибок и аномалий в данных, включая автоматические и ручные проверки
-применять техники исправления ошибок: очистка данных, удаление дубликатов, заполнение пропусков и корректировка форматов
-документировать обнаруженные проблемы и методы их решения для последующего контроля качества данных
-конфигурировать и визуализировать архитектуру Greenplum, идентифицировать роли компонентов (мастер-узел, сегменты)
-загружать данные в Greenplum, используя стандартные инструменты и лучшие практики для распределенных систем
-выполнять аналитические запросы с учётом распределённой структуры данных, оптимизировать простые SELECT-запросы
-анализировать планы выполнения запросов и применять базовые методы оптимизации
-решать задачи масштабирования путем добавления сегментов и повышения параллелизма в вычислениях
-конфигурировать и использовать Clickhouse для загрузки данных
-выполнять эффективные SQL-запросы для аналитики, выбирая только нужные столбцы для минимизации нагрузки
-анализировать планы выполнения запросов и применять основные методы оптимизации
-проводить оптимизацию простых процессов загрузки и запросов
-использовать возможности параллельной обработки и сжатия данных
Различать основные типы систем хранения данных и области их применения.
Анализировать особенности современных архитектур хранения данных.
Выбирать способы организации хранения данных с учётом требований задачи.
Определять основные требования к производительности и масштабируемости хранилищ данных.
Применять основные подходы к проектированию аналитических хранилищ данных.
Разрабатывать модели данных с учётом требований к хранению и обработке информации.
Выбирать подходящие методы моделирования данных.
Использовать современные инструменты для реализации моделей данных.
Анализировать архитектуру и принципы работы MPP-систем.
Использовать SQL для обработки больших объёмов данных.
Применять основные подходы к распределённой обработке данных.
Анализировать производительность запросов и выбирать способы их оптимизации.
Выбирать подходы к интеграции данных в аналитические хранилища.
Организовывать процессы загрузки и преобразования данных.
Применять инструменты интеграции данных.
Анализировать корректность и согласованность данных при их обработке.
Анализировать архитектуру и принципы работы Data Lake.
Выбирать форматы хранения данных с учётом их особенностей.
Организовывать хранение и обработку разнородных данных.
Использовать современные инструменты для обработки больших объёмов информации.
Анализировать принципы работы систем потоковой обработки данных.
Выбирать подходы к организации потоков данных.
Применять основные методы обработки и преобразования потоковых данных.
Использовать инструменты потоковой обработки для решения практических задач.
Применять основные принципы обеспечения безопасности данных.
Использовать механизмы аутентификации и авторизации.
Настраивать и контролировать права доступа к данным.
Анализировать требования к безопасности систем хранения данных.
Анализировать современные архитектуры хранения и обработки данных.
Выбирать подходящие архитектурные решения с учётом требований задачи.
Оценивать особенности использования облачных технологий для хранения данных.
Анализировать возможности интеграции различных инструментов и технологий в инфраструктуру данных.

Содержание учебной дисциплины

Введение в современные хранилища данных
Концепции хранилищ данных, моделирование и гибкие подходы реализации
MPP-системы обработки данных
Интеграционные подходы в DWH
Архитектура и методы работы с Data Lake
Работа с потоками данных
Безопасность и управление доступом.
Современные архитектуры хранения и обработки данных

Элементы контроля

Тесты
Обучающиеся выполняют тест в LMS. Тест содержит от 5 до 10 вопросов. Используются разные варианты вопросов: с выбором одного или нескольких вариантов ответа, вводом текста или числа и др. Время выполнения теста — до 20 минут.
Задание с самопроверкой по чек-листу
Задание с проверкой от преподавателя по модулю 2
Задание с проверкой от преподавателя по модулю 1
Итоговый тест (экзамен)

Промежуточная аттестация

2026/2027 2nd module
Форма промежуточной аттестации: Экзамен (итоговое тестирование). Формула итоговой оценки и текущего контроля: 0,1 × тест модуля 1 + 0,3 × итоговое домашнее задание модуля 1 + 0,1 × тест модуля 2 + 0,3 × итоговое домашнее задание модуля 2 + 0,2 × итоговый тест. Максимальная итоговая оценка — 10 баллов.

Список литературы

Авторы

Ахмедова Гюнай Интигам кызы

Программа дисциплины