SQL для работы с рыночными данными

Магистратура 2024/2025

ID 836996

Лучший по критерию «Полезность курса для Вашей будущей карьеры»

Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»

Лучший по критерию «Новизна полученных знаний»

Статус: Курс по выбору (Социальный анализ рынков на цифровых и опросных данных)

Направление: 39.04.01. Социология

Кто читает: Департамент социологии

Где читается: Факультет социальных наук

Когда читается: 2-й курс, 1 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для всех кампусов НИУ ВШЭ

Преподаватели: Пашков Станислав Георгиевич

Прогр. обучения: Прикладные методы социального анализа рынков

Язык: русский

Кредиты: 3

Контактные часы: 24

Дополнительные материалы в LMS Задать вопрос

Аннотация

Курс «SQL для работы с рыночными данными» формирует у студентов практические навыки проектирования и управления реляционными базами данных, а также эффективной работы с данными с помощью SQL. Особое внимание уделяется построению сложных запросов, нормализации данных и проектированию ER-диаграмм, необходимых для эффективной обработки большого объема данных и цифровой аналитики социальных и рыночных данных. В завершающей части курса студенты интегрируют SQL с аналитикой, выполняя финальный проект с использованием либо R, либо Python — по выбору, в зависимости от предпочтений и уровня подготовки. Курс ориентирован на реальные задачи обработки социологических и рыночных данных и позволяет освоить полный цикл работы с данными — от проектирования базы до анализа и визуализации.

Цель освоения дисциплины

Возможности проектирования реляционных баз данных для хранения и анализа социологических и рыночных данных, применив принципы концептуального моделирования (ER-диаграммы) и нормализации (до 3НФ).
Приобрести навыки настройки и управления реляционной СУБД (PostgreSQL) в локальной или облачной среде, включая создание, модификацию и проверку целостности структуры базы данных.
Формулировать и выполнять эффективные SQL-запросы любой сложности — от базовых выборок до аналитических операций с использованием оконных функций, CTE и сложных JOIN’ов.
Модифицировать данные в базе с использованием операций INSERT, UPDATE, DELETE, включая фильтрацию, транзакции и работу с ограничениями целостности.
Интегрировать SQL с языками анализа данных (R или Python) для извлечения, обработки и визуализации результатов анализа.
Получить навыки подготовки и представления аналитического отчёта на основе данных из реляционной базы, используя современные инструменты документирования (RMarkdown, Jupyter Notebook, PDF).

Планируемые результаты обучения

знание синтаксиса SQL, агрегационных функций, журналирование;
Умеет разарабатывать запросы с использованием языка SQL, реализующие алгоритмы, разработанные на основе операторов реляционной алгебны, включающие возможности связывания таблиц, отбора данных в соответствии с заданными критериями, использования для вычислений агрегатных функций и возможностей группировки данных, возможностей сортировки данных и использования вложенных запросов
Владение навыками формирования SQL-запросов к БД
Знать технологию проектирования сверху-вниз ER-диаграмм.
Студенты познакомятся и сформируют первичный опыт работы в среде R
Двоичная булева алгебра: множество элементов, множество операций. Определение и доказательство постулатов булевой алгебры. Применение булевой алгебры.
Знание основных возможностей системы PostgreSQL и расширений моделей данных и языков запросов, предоставляемые в этой системе.
Рассчитывать статистические критерии в среде R
Проводить регрессионный, факторный и кластерный анализы в среде R
выполняет анализ данных, используя окна и оконные функции в запросах на выборку
Умеет выполнять инфологическое проектирование баз данных методом «сущность-связь»
Получение системного представления об истории и классификации технологий проектирования баз данных.
Знание основных возможностей системы SQLite и расширений моделей данных и языков запросов, предоставляемые в этой системе.
Знание основных концепций и принципов реляционной теории.
Приобретение практических навыков записи, построения и анализа регрессионных моделей, выполненных в статистической среде R.
Приобретение практических навыков организации процедуры анализа статистических (социологических) данных на языке R.
Получение представления о формах и паттернах взаимодействия статистической среды R и СУБД с применением языка SQL.

Содержание учебной дисциплины

Тема №1: История развития баз данных и СУБД. Концептуальная архитектура и операционализация основных понятий. СУБД PostgreSQL и SQLite.
Тема №2: Введение в реляционную теорию и проектирование баз данных
Тема №3: Язык SQL (Часть 1): фундаментальные подходы и устройство синтаксиса
Тема №4: Язык SQL (Часть 2): Расширенные манипуляции, оконные функции, индексирование, процедурный SQL
Тема №5: Построение аналитических пайплайнов на языке R

Элементы контроля

Лабораторная работа №1: настройка СУБД, проектирование базы данных и ER-структуры
Лабораторная работа представляет собой набор практических упражнений, охватывающих Тему №1 и Тему №2 учебного курса. Студенты должны на своих компьютерах создать и настроить тестовую базу данных, внести необходимые данные, проверить целостнтсть базы данных, описать её структуру с помощью ER-диаграмм.
Лабораторная работа №2: Построение запросов и манипуляция с данными на языке SQL
Лабораторная работа представляет собой набор практических упражнений, охватывающих Тему №3 и Тему №4 учебного курса. Студенты должны на своих компьютерах продемонстрировать навыки построения простых и сложных запросов на языке SQL, одновременно с этим не допуская риски потери структуры и целостности данных внутри СУБД.
Финальный проект: Обработка базы данных с использованием языков R и SQL
Данная форма контроля предполагает под собой реализацию Темы №5 и Темы №6 учебного курса. Основное внимание уделено языку R и взаимодействию с СУБД и языком SQL. Предполагается, что студент получил комплексное представление об устройстве СУБД и навыках взаимодействия с базами данных при помощи SQL. В рамках финального проекта необходимо представить концепцию банка данных социологических исследований, которые затем трансформируются в формат таблиц данных в СУБД PostgreSQL. Дополнительно студентом выполняется процесс организации структуры данных, таблиц и дальнейшей обработки данных при помощи статистической среды R. Студенту необходимо подговить небольшую презентацию с описанием структуры данных, а также набор скриптов, дамп базы данных для последующей оценки.

Промежуточная аттестация

2024/2025 1st module
0.35 * Лабораторная работа №2: Построение запросов и манипуляция с данными на языке SQL + 0.4 * Финальный проект: Обработка базы данных с использованием языков R и SQL + 0.25 * Лабораторная работа №1: настройка СУБД, проектирование базы данных и ER-структуры

Список литературы

Авторы

Пашков Станислав Георгиевич
Десятова Мария Ивановна

Программа дисциплины