2024/2025
Python для анализа данных
Статус:
Маго-лего
Когда читается:
2 модуль
Охват аудитории:
для своего кампуса
Язык:
русский
Кредиты:
3
Программа дисциплины
Аннотация
Данный курс предоставляет глубокое понимание и навыки работы с языком программирования Python, с особым акцентом на его применении в анализе данных и инженерии данных.. Курс также включает изучение ключевых концепций и методов работы с данными, включая обработку больших объемов информации. Студенты приобретают навыки работы с библиотеками и фреймворками для анализа данных и визуализации на практике, а также изучают разработку Python-приложений для обработки и анализа данных.
Цель освоения дисциплины
- Приобретение навыков работы с данными и их визуализацию с помощью библиотек на базе языка Python
- Понимание и использование распределенных систем для обработки данных
Планируемые результаты обучения
- Понимание фундаментальных принципов программирования на Python
- Навыки обработки данных при помощи библиотек Numpy, Pandas
- Навыки визуализации данных при помощи библиотек Matplotlib и Seaborn
- Подтверждать выводы графиками и другими средствами визуализации
- Анализ кластеров, паттернов, корреляций и других свойств распределения данных
- Понимание основ машинного обучения
- - визуализировать данные
- - фильтровать, сортировать, группировать и агрегировать данные
- - решать MapReduce задачи на Python
- - настраивать взаимодействие с кластером с помощью HDFS
- - записывать и читать данные в/из HDFS
- - готовить витрину для аналитиков данных
- - управлять производительностью путем масштабирования ресурсов и кеширования
- - настраивать Kafka сервер
- - обрабатывать сообщения
- - готовить потоковые данные для аналитиков
- - построение эффективных вычислений над много мерными массивами
- - ускорение вычислений над над много мерными массивами на CPU/GPU
- - чтение данных с диска в различных форматах
- - умение проводить операции и анализ над данными с помощью библиотеки pandas
- - умение визуализировать данные с помощью библиотек на python (Mathplotlib & Seaborn modules)
- - подготавливать данные и восполнения отсутствующих данных
- -обрабатывать данные
- -работать с продюсерами и консьюмерами
Содержание учебной дисциплины
- Работа с библиотекой numpay
- Работа с библиотекой pandas
- Продвинутый функционал Pandas. Группировки.
- Подготовка и визуализация данных
- Распределенное хранение и обработка данных в hadoop
- Apache spark
- Kafka., Flink
Промежуточная аттестация
- 2024/2025 2nd moduleДомашнее задание с проверкой преподавателем* 0.5 + проект с проверкой преподавателем * 0.5
Список литературы
Рекомендуемая основная литература
- Рагимханова, Г. С. Программирование на Python : учебное пособие / Г. С. Рагимханова. — Махачкала : ДГПУ, 2022. — 126 с. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/330071 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.
- Федоров, Д. Ю. Программирование на python : учебное пособие для среднего профессионального образования / Д. Ю. Федоров. — 6-е изд., перераб. и доп. — Москва : Издательство Юрайт, 2024. — 187 с. — (Профессиональное образование). — ISBN 978-5-534-19654-2. — Текст : электронный // Образовательная платформа Юрайт [сайт]. — URL: https://urait.ru/bcode/556852 (дата обращения: 27.08.2024).
- Чернышев, С. А. Основы программирования на Python : учебное пособие для среднего профессионального образования / С. А. Чернышев. — 2-е изд., перераб. и доп. — Москва : Издательство Юрайт, 2024. — 349 с. — (Профессиональное образование). — ISBN 978-5-534-17056-6. — Текст : электронный // Образовательная платформа Юрайт [сайт]. — URL: https://urait.ru/bcode/544194 (дата обращения: 27.08.2024).
Рекомендуемая дополнительная литература
- Жуков, Р. А. Язык программирования Python. Практикум : учебное пособие / Р.А. Жуков. — Москва : ИНФРА-М, 2024. — 216 с. + Доп. материалы [Электронный ресурс]. — (Среднее профессиональное образование). - ISBN 978-5-16-015638-5. - Текст : электронный. - URL: https://znanium.ru/catalog/product/2131861
- Карякин, М. И. Технологии программирования и компьютерный практикум на языке Python : учебное пособие / М. И. Карякин, К. А. Ватульян, Р. М. Мнухин ; Южный федеральный университет. - Ростов-на-Дону ; Таганрог : Издательство Южного федерального университета, 2022. - 242 с. - ISBN 978-5-9275-4108-9. - Текст : электронный. - URL: https://znanium.com/catalog/product/2057604
- Криволапов, С. Я., Статистические вычисления на платформе Jupyter Notebook с использованием Python : учебник / С. Я. Криволапов. — Москва : КноРус, 2022. — 431 с. — ISBN 978-5-406-09739-7. — URL: https://book.ru/book/943660 (дата обращения: 27.08.2024). — Текст : электронный.