Введение в инженерию данных

2026/2027

ID 1145404

Статус: Маго-лего

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Охват аудитории: для своего кампуса

Язык: русский

Кредиты: 3

Контактные часы: 24

Дополнительные материалы в LMS Задать вопрос

Аннотация

Курс Введение в инженерию данных знакомит слушателей с основами профессии Data Engineering, которая играет ключевую роль в современных data-driven компаниях. В рамках курса рассматриваются базовые концепции, инструменты и методы, необходимые для проектирования, построения и поддержки надежных и масштабируемых систем обработки данных.

Цель освоения дисциплины

Сформировать представление об основных задачах инженерии данных, этапах работы с данными, принципах организации их обработки и хранения, а также взаимодействии основных компонентов систем обработки данных.

Планируемые результаты обучения

Студент определяет основные задачи инженерии данных и роль инженера данных. Описывает основные этапы работы с данными. Различает задачи инженера данных и других специалистов, работающих с данными.
Студент описывает основные этапы получения и подготовки данных. Объясняет назначение очистки, проверки и преобразования данных. Выявляет основные проблемы качества данных.
Студент объясняет принципы ETL и ELT. Определяет основные этапы обработки и преобразования данных. Описывает назначение пайплайнов обработки данных.
Студент определяет назначение систем хранения данных. Различает основные подходы к хранению данных. Объясняет связь между способом хранения и последующей обработкой и использованием данных.
Студент различает пакетную и потоковую обработку данных. Объясняет особенности и сценарии применения различных подходов. Соотносит подход к обработке данных с условиями поставленной задачи.
Студент определяет основные компоненты системы обработки данных и их назначение. Описывает взаимодействие компонентов и движение данных между ними. Анализирует предложенную схему обработки данных.

Содержание учебной дисциплины

Тема 1. Введение в инженерию данных
Тема 2. Получение и подготовка данных
Тема 3. Обработка и преобразование данных
Тема 4. Хранение данных
Тема 5. Пакетная и потоковая обработка данных
Тема 6. Системы обработки данных

Элементы контроля

Итоговый тест
Итоговый тест проводится по материалам всей дисциплины и проверяет достижение основных планируемых результатов обучения. Тест включает задания по основным задачам инженерии данных, этапам работы с данными, их получению и подготовке, обработке и преобразованию, подходам к хранению данных, пакетной и потоковой обработке, а также взаимодействию основных компонентов систем обработки данных.
Тест 1 по темам 1–3
Тест проверяет освоение тем 1–3: «Введение в инженерию данных», «Получение и подготовка данных», «Обработка и преобразование данных». Задания проверяют понимание основных задач инженерии данных, этапов работы с данными, принципов их получения и подготовки, обработки и преобразования, а также базовых принципов ETL и ELT.
Задания с проверкой преподавателем
В рамках дисциплины студент выполняет практическое задание на основе предложенного кейса. Задание направлено на применение изученных принципов инженерии данных: анализ источников и способов получения данных, определение этапов их обработки и преобразования, анализ подходов к хранению данных и движения данных между компонентами системы. Процедура сдачи: Студент выполняет задание на основе предложенного кейса. Студент представляет результат в виде схемы движения данных и пояснения. Выполненное задание загружается в ЛМС ВШЭ. Преподаватель проверяет работу и предоставляет обратную связь. Использование ИИ при выполнении заданий Студент может использовать инструменты искусственного интеллекта при выполнении заданий, если это не противоречит условиям задания и инструкциям преподавателя. Результаты, полученные с использованием ИИ, должны быть самостоятельно проверены, проанализированы и при необходимости доработаны студентом. Ключевые выводы и решения студент формулирует самостоятельно.

Промежуточная аттестация

2026/2027 3rd module
Форма промежуточной аттестации: зачёт Все элементы контроля оцениваются по десятибалльной шкале. Итоговая оценка рассчитывается по формуле: Тест 1 по темам 1–3 × 0,3 + Задания с проверкой преподавателем × 0,4 + Итоговый тест × 0,3 Максимальный итоговый балл — 10.

Список литературы

Авторы

Ахмедова Гюнай Интигам кызы

Программа дисциплины