Алгоритмы обработки больших данных

Магистратура 2025/2026

Статус: Курс обязательный (Финансовые технологии и анализ данных)

Кто читает: Базовая кафедра ПАО Сбербанк «Финансовые технологии и анализ данных»

Где читается: Факультет компьютерных наук

Когда читается: 1-й курс, 4 модуль

Охват аудитории: для своего кампуса

Язык: русский

Кредиты: 3

Контактные часы: 40

Дополнительные материалы в LMS Задать вопрос

Аннотация

Курс предназначен для формирования у слушателей практических навыков разработки приложений работающих с большими объемами информации. В рамках программы рассматриваются основы BigData и современные механики решения таких задач на базе фреймворка apache flink. Раскрываются обще-используемые термины, объясняется работа с DataStream, Table и SQL API. Показано управление состоянием, реализация сложных сценариев обработки с окнами и таймерами. Особое внимание уделено использованию Flink-SQL для потоковой аналитики. Поясняются механизмы оптимизации, мониторинга, настройке гарантий доставки данных. В заключении представлены тренды в развитии экосистемы flink. По итогам курса студенты смогут самостоятельно создавать эффективные решения для потоковой обработки данных.

Цель освоения дисциплины

Дать слушателям системные знания и практические навыки для самостоятельной разработки, внедрения и поддержки высоконагруженных потоковых приложений на Python с использованием Apache Flink, а также научить применять эти технологии для решения актуальных бизнес-задач как в режиме ограниченного так и неограниченного потока данных.

Планируемые результаты обучения

Проектировать и реализовывать потоковые и пакетные приложения на PyFlink с использованием DataStream, Table и SQL API
Использовать подходы stateful stream processing в сложных сценариев обработки данных, включая управлением состоянием и службой времени
Понимать различия между processing time и event time, а также корректно применять эти концепции при проектировании потоковых приложений
Анализировать метрики, оптимизировать производительность и обеспечивать требуемые гарантии доставки данных
Ориентироваться в современных трендах развития экосистемы flink (streamhouse, apache fluss)

Содержание учебной дисциплины

Bigdata intro
Stream & flink intro
Batch mode, pyflink runtime architecture
DataStream operators API, keyed state
Stateful stream processing. Windows, Triggers, ProcessFunction, State, Timers, Watermarks
State and Chekpoint, State Backends. Table API и SQL API
CEP, CDC, ML, Metrics, Failure recovery, Execution configuration, Async IO, Delivery guarantees. Best (worst) practices
Flink-SQL 1/2, базовый синтаксис, работа с окнами
Flink-SQL 2/2, соединение потоков, udf, оптимизация
Whats new, trends (fluss, streamhouse)

Элементы контроля

Промежуточный проект
Задание по использованию нескольких уровней flink api, работа с окнами и использованию различных подходов к source и sink операторам.
Проверочный экзамен
Тест из 10 вопрос закрытого типа, где для каждого вопроса нужно выбрать один правильный вариант из нескольких предложенных.

Промежуточная аттестация

2025/2026 4th module
0.4 * Проверочный экзамен + 0.6 * Промежуточный проект

Список литературы

Авторы

Емашева Валерия Анатольевна

Программа дисциплины