Бакалавриат 2026/2027

Введение в платформы данных

Статус: Курс по выбору (Прикладная математика и информатика)

Кто читает: Базовая кафедра МТС

Где читается: Факультет компьютерных наук

Когда читается: 3-й курс, 1, 2 модуль

Охват аудитории: для своего кампуса

Язык: русский

Кредиты: 5

Контактные часы: 56

Программа дисциплины

Аннотация

Прежде чем построить дашборд, провести аналитику или обучить ML-модель, данные необходимо собрать, загрузить в хранилище, обработать, проверить и подготовить для дальнейшего использования. Для решения этих задач компании создают платформы данных — инфраструктуру и набор инструментов, которые обеспечивают полный цикл работы с данными. На курсе вы разберетесь, как устроены платформы данных, из каких компонентов они состоят и какие задачи решают. Основное внимание будет уделено технологиям экосистемы Hadoop и инструментам обработки больших данных. В первой части курса вы изучите архитектуру Hadoop, работу HDFS, принципы MapReduce и YARN, а также познакомитесь с другими компонентами экосистемы. Затем научитесь работать с Hive и использовать HiveQL для организации и обработки данных. Отдельный модуль посвящен Apache Spark: его архитектуре, развертыванию кластера, работе со Spark DataFrame API и Spark SQL API.