Python для инженерии данных

2025/2026

Статус: Маго-лего

Кто читает: Департамент больших данных и информационного поиска

Когда читается: 1-3 модуль

Охват аудитории: для своего кампуса

Преподаватели: Касьяненко Дарья Алексеевна, Паточенко Евгений Анатольевич

Язык: русский

Контактные часы: 64

Дополнительные материалы в LMS Задать вопрос

Аннотация

Данный курс предоставляет глубокое понимание и навыки работы с языком программирования Python, с особым акцентом на его применении в анализе данных и инженерии данных. В рамках курса студенты изучают продвинутые аспекты Python, включая синтаксис, объектно-ориентированное программирование и возможности специализированных библиотек. Курс также включает изучение ключевых концепций и методов работы с данными, включая обработку больших объемов информации, многопоточное и асинхронное программирование в Python. Студенты приобретают навыки работы с библиотеками и фреймворками для анализа данных и визуализации на практике, а также изучают разработку Python-приложений для обработки и анализа данных.

Цель освоения дисциплины

Приобретение продвинутых навыков работы с базами данных и ORM на базе языка Python
Умение проектировать программное обеспечение с применением объектно-ориентированной парадигмы
Понимание и применение асинхронного и мультипроцессорного программирования

Планируемые результаты обучения

- читать и записывать файлы
- записывать различные объекты в файл Python и читать их обратно
- объединять аналитические данные из разных систем в одну структуру
- устанавливать пакетный менеджер pip
- создавать структуры хранения
- работать с файлами в Python
- работать с ошибками в Python
- работать с классами date, time, datetime, может выполнить прибавление интервала к датам
- работать с датами в Python
- объявлять класс в Python
- применять метод Init
- импортировать классы и функции различными методами
- работать с классами в Python
- работать с регулярными выражениями
- использовать тестеры регулярных выражений
- решать несложные задачи, используя принцип параллельных вычислений
- создавать параллелизм с помощью потоков в Python
- создавать параллелизм через процессы в Python
- использовать принципы многопоточности и многопроцессности в написании кода
- использовать модуль threading для создания потоков в Python
- использовать модуль multiprocessing для создания процессов в Python
- загружать данные из различных форматов
- визуализировать данные
- фильтровать, сортировать, группировать и агрегировать данные
- решать MapReduce задачи на Python
- настраивать взаимодействие с кластером с помощью HDFS
- записывать и читать данные в/из HDFS
- обрабатывать данные
- готовить витрину для аналитиков данных
- управлять производительностью путем масштабирования ресурсов и кеширования
- настраивать Kafka сервер
- работать с продюсерами и консьюмерами
- обрабатывать сообщения
- готовить потоковые данные для аналитиков
- создавать приложения на Spark Structure Streaming
- устанавливать Spark на локальной машине

Содержание учебной дисциплины

Работа с файлами и пакетами
Время и даты в Python
Понятие класса. Классы и объекты (ООП)
Регулярные выражения
Параллельные вычисления. Многопоточность и многопроцессность
Библиотеки numpy и Pandas. Визуализация данных.
Продвинутый функционал Pandas. Группировки.
Hadoop и MapReduce.
Apache spark.
Kafka.
Знакомство со Spark streaming.

Элементы контроля

Домашнее задание с проверкой преподавателем
Домашние задания с самостоятельной проверкой
Тест по 1 модулю

Промежуточная аттестация

2025/2026 2nd module
Формула итоговой оценки по дисциплине: 0,2 × оценка за 1 модуль + 0,8 × оценка за 2 и 3 модуль = 1 Текущий контроль за 1 модуль: 0,5 × Домашнее задание с проверкой преподавателем + 0,3 × Домашние задания с самостоятельной проверкой + 0,2 × Итоговый тест по 1 модулю = 1
2025/2026 3rd module
Формула итоговой оценки по дисциплине: 0,2 × оценка за 1 модуль + 0,8 × оценка за 2 и 3 модуль = 1 Текущий контроль за 1 модуль: 0,5 × Домашнее задание с проверкой преподавателем + 0,3 × Домашние задания с самостоятельной проверкой + 0,2 × Итоговый тест по 1 модулю = 1

Список литературы

Авторы

Ахмедова Гюнай Интигам кызы
Касьяненко Дарья Алексеевна

Программа дисциплины