Расскажем про базовые принципы работы команд, системы менеджмента и автоматизации, софт и хард скиллы

Поймем, чем занимается Data Engineer, разберем архитектуру строения DWH (КХД), познакомимся с OLAP и OLTP, рассмотрим отличия реляционных от нереляционных баз данных, освоим понятия BigData, DataLake и Data vault, изучим MPP на примере Greenplum

Рассмотрим понятия нормализации/денормализации, индексы и партиции, познакомимся с транзакциями и ACID

Рассмотрим объекты в базах данных: таблицы, представления, временные таблицы

Разберем схемы, Constraint, узнаем, как делать изменение таблиц, разграничение прав доступа, разберем представления, погрузимся в создание базы данных, познакомимся с конвертацией, функциями NULL и COALESCE, условиями IF-THEN-ELSE, изучим соединения (joins) и правила написания запросов, рассмотрим подзапросы и операторы IN, ANY, ALL, а также ключевые слова EXISTS, NOT EXISTS и оператор NOT IN

Познакомимся с групповыми функциями и ошибками при их использовании, разберем вложенные групповые функции в Postgres, освоим работу с множествами, узнаем, как манипулировать данными, поймем, для чего нужны транзакции, целостность чтения и оконные функции, изучим конструкцию CTE

Изучим процедуры и функции, триггеры и правила в PG/PL SQL

Обсудим, что такое ETL-процесс и для чего он нужен, познакомимся с инструментами Informtica PC, Talend и Datagram

Познакомимся с Airflow и его возможностями, изучим даги и таски Airflow, на практике попробуем создание дага, который будет осуществлять загрузку данных

Рассмотрим форматы хранения данных, MapReduce, Yarn, погрузимся в экосистему Hadoop

Познакомимся с BI системами и поймем, для чего они нужны, рассмотрим BI системы NR studio, Apex, Sap BO, Cognos, PowerBi, Qlick