Семинар наставника

Магистратура 2026/2027

ID 1141531

Статус: Курс обязательный (Инженерия данных)

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 1-й курс, 1-4 модуль

Охват аудитории: для своего кампуса

Преподаватели: Масленников Даниил Игоревич, Шевченко Владислав Дмитриевич

Язык: русский

Кредиты: 9

Контактные часы: 72

Дополнительные материалы в LMS Задать вопрос

Аннотация

Дисциплина направлена на знакомство студентов с современными практиками инженерии данных и их применением в профессиональной деятельности. В рамках дисциплины студенты познакомятся с основными подходами к организации инфраструктуры и процессов обработки данных, облачными и распределёнными технологиями, пакетной и потоковой обработкой, а также вопросами качества и надёжности данных. На примерах практических задач студенты рассмотрят взаимодействие различных компонентов систем обработки данных и применение современных инструментов инженерии данных. Отдельное внимание уделяется знакомству с рынком труда в области Data Engineering, требованиям к начинающим специалистам и подготовке к прохождению практики и первым этапам профессионального отбора.

Цель освоения дисциплины

Сформировать представление о современных практиках и инструментах инженерии данных, принципах организации инфраструктуры и процессов обработки данных, а также подготовить студентов к применению полученных знаний в практических задачах и началу профессиональной деятельности в области Data Engineering.
Сформировать понимание о том, как инструменты инженерии данных применяются в российских компаниях.

Планируемые результаты обучения

Подготавливать конфигурационные файлы для формирования системы.
Выполнять основные команды Git: инициализация репозитория, добавление и коммит изменений, просмотр истории.
Выполнение основных команд и сценариев: работа с файлами и каталогами, перенаправление ввода/вывода, использование пайпов.
Написание и выполнение скриптов, использование переменных и аргументов командной строки.
Автоматизация рутинных задач: создание скриптов для автоматизации процессов сбора и обработки данных.
Работа удаленно с серверами, передает файлы, выполнение настройки сетевого взаимодействия с помощью SCP и SFTP, обеспечение удаленного выполнения команд.
Владение навыками развертывания своей экосистемы на своем ПК.
Настройка и запуск контейнеров для различных приложений, используемых в процессе обработки данных.
Написание и оптимизация Dockerfile для автоматической сборки образов, содержащих необходимые зависимости и настройки.
Настройка сетевых взаимодействий между контейнерами и внешними сервисами.
Выполнять настройку и конфигурацию систем мониторинга: установка, настройка агентов и интеграция с источниками данных.
Выполнять анализ и визуализация данных мониторинга: создание дашбордов, настройка алертов.
Работать и настраивать Prometheus, Grafana, ELK stack на углубленном уровне
Реализовать основные возможности PyTest: написание тестов, использование фикстур и параметризация тестов.
Выполнять организацию тестов: структура тестового проекта, группировка и маркировка тестов.
Выполнять запуск и анализ результатов тестирования: использование различных опций командной строки, интерпретация результатов.
Настраивать пайплайны для автоматической сборки и тестирования кода при каждом изменении в репозитории.
Настраивать мониторинг для отслеживания выполнения пайплайнов CI/CD и автоматического уведомления о сбоях.
Использовать системы контроля версий для отслеживания изменений в коде и конфигурациях дата-приложений.
Навыки построения, тренировки и оптимизации моделей машинного обучения.
Навыки разработки и развертывания API, что позволяет интегрировать модели в приложения и предоставлять доступ к предсказаниям.
Повышение уровня организованности и способности к быстрой адаптации в условиях ограниченных временных рамок.
Мониторить и управлять выполнением задач через Web UI
Настраивать продюсеров, брокеров и потребителей в Kafka.
Анализировать и обрабатывать потоки данных в реальном времени.
Разворачивать и настраивать кластеры Data Proc и Airflow в Yandex Cloud
Разворачивать и настраивать стриминговую обработку данных с Kafka и Spark Streaming.
Студент объясняет назначение основных технологий и инструментов инженерии данных. Определяет их место в процессах работы с данными.
Студент описывает основные компоненты инфраструктуры обработки данных и их взаимодействие. Различает основные подходы к организации и обработке данных.
Студент анализирует практические задачи инженерии данных. Определяет подходящие подходы и инструменты для их решения.
Студент анализирует требования рынка к начинающим специалистам. Представляет свой учебный и проектный опыт. Описывает основные этапы профессионального отбора и способы подготовки к ним.
Определять значение и роль данных в современном бизнесе и технологиях, тренды развития профессии, профессиональные требования, предъявляемые рынком.
Оценивать личный уровень сформированности профессиональных компетенций.
Работать с удаленными репозиториями: настройка и использо-вание GitHub, GitLab.
Создавать свой репозиторий, простые проекты в Git, выполнять операции с ветками.
Студент реализует основы работы с RESTful API: принципы REST, основные методы HTTP-запросов.
Студент выполняет интеграцию с внешними API: аутентификация, обработка запросов и ответов.
Студент владеет навыками взаимодействия с API сервисами и создает свои API сервисы.
Сформированы навыки совместной работы в командах.
Сформированы навыки критического мышления, способность находить креативные решения и адаптироваться к возникающим проблемам в процессе работы.
Сформированы навыки презентации результатов своей работы: оформление документации, отчетностей и живой презентации работы.
Сформированы навыки аналитического мышления и принятия решения на базе данных как фундаментальные знания для любого специалиста в области работы с данными.
Студент может составить эффективное резюме.
Студент может проходить технические собеседования и выполнять тестовые задания.
Студент умеет составлять портфолио дата-инженера в Git.
Студент умеет создавать, настраивать и запускать DAG в Airflow.
Студент владеет навыками интеграции Airflow с базами данных, API и облачными сервисами.
Студент владеет навыками интеграция Kafka с другими системами (базы данных, API, микросервисы).
Студент владеет навыками мониторинга и оптимизация работы Kafka-кластера.
Студент умеет работать с инструментами для анализа и обработки больших данных в облаке.
Студент владеет навыками использования Yandex Cloud для масштабируемых вычислений и анализа данных.
Студент может организовать ETL-пайплайн с Yandex Data Proc, Object Storage и Managed Airflow.
Студент умеет работать с ClickHouse для создания аналитических витрин данных.
Студент владеет навыками оркестрации и автоматизации ETL-процессов с Managed Airflow.

Содержание учебной дисциплины

Тема 1. Введение в Data Engineering (модуль 1-2)
Тема 2. Основы работы с серверными операционными средами (модуль 1-2)
Тема 3. Управление изменениями и командная работа в проектах, автоматизация типовых задач и сценариев сбора и обработки данных, работа с серверами и протокол удаленного управления SSH (модуль 1-2)
Тема 4. Работа с Docker (модуль 1-2)
Тема 5. Работа с системами мониторинга данных (модуль 1-2)
Тема 6. Использование PyTest в инженерии данных (модуль 1-2)
Тема 7. Использование API в инженерии данных (модуль 1-2)
Тема 8. CI/CD: практика и кейсы (модуль 1-2)
Тема 9. Практика работы с Airflow (модуль 1-2)
Тема 10. Практика работы с Kafka (модуль 1-2)
Тема 11. Работа с Yandex CLOUD (модуль 1-2)
Тема 12. Работа с Spark Streaming (модуль 1-2)
Тема 13. Машинное обучение: кейсы и аналитика (модуль 1-2)
Тема 14. Развитие карьеры инженера данных (модуль 1-2)
Тема 15. Развитие навыков принятия решения на данных и презентации результатов своей работы (модуль 1-2)
Тема 16. Мини-хакатон (модуль 1-2)
Тема 1. Современные технологии инженерии данных (модуль 3-4)
Тема 2. Инфраструктура и процессы обработки данных (модуль 3-4)
Тема 3. Практика инженерии данных (модуль 3-4)
Тема 4. Профессиональное развитие инженера данных (модуль 3-4)

Элементы контроля

Задания с проверкой преподавателем
В рамках дисциплины студенты выполняют практические задания, направленные на применение изученных подходов и инструментов инженерии данных. Задания могут включать работу с технологиями инженерии данных, анализ практических кейсов и обоснование выбранных решений. Результаты выполнения заданий загружаются в ЛМС ВШЭ и проверяются преподавателем.
Итоговый тест
Итоговый тест направлен на проверку освоения содержания дисциплины. Тест включает вопросы по основным темам курса и проводится в ЛМС ВШЭ.
Портфолио
В течение семестра студент формирует профессиональное портфолио, отражающее его учебный и проектный опыт. Портфолио включает: - резюме; - описание учебных и проектных работ; - описание решаемых задач, использованных технологий, роли студента и полученных результатов. Результат выполнения задания загружается в ЛМС ВШЭ.
Домашнее задание 1
Домашнее задание 3
Итоговый тест
Домашнее задание 2

Промежуточная аттестация

2026/2027 2nd module
Формула итоговой оценки: 0,1 × Домашнее задание 1 + 0,2 × Домашнее задание 2 + 0,3 × Домашнее задание 3 + 0,4 × Итоговый тест.
2026/2027 4th module
Формула итоговой оценки: 0,5 × Задания с проверкой преподавателем + 0,3 × Итоговый тест + 0,2 × Портфолио. Оценка за дисциплину формируется как сумма оценок с учетом коэффициентов каждого элемента контроля. Все элементы контроля оцениваются по десятибалльной шкале.
2027/2028 2nd module
Итоговая формула будет представлена летом, перед началом 2-го курса.
2027/2028 3rd module
Итоговая формула для 3-го модуля будет представлена летом, перед началом 2-го курса. Итоговая оценка (1 модуль 2026/2027 - 3 модуль 2027/2028): 2026/2027 учебный год 2 модуль * 0.4 + 2026/2027 учебный год 4 модуль * 0.2 + 2027/2028 учебный год 1 модуль * 0.2 + 2027/2028 учебный год 3 модуль * 0.2.

Список литературы

Авторы

Масленников Даниил Игоревич

Программа дисциплины