Data Engineering
Построение ETL процессов и подготовка данных для ML
Учебный план. 72 академических часа
Блок специализация
30 часов
3 ак. часа
Основы Python. Базовые функции.
Операторы условий. Циклы
Лекции
3 ак. часа
Основы функционального программирования. Лямбда. Списки, кортежи, словари
Лекции
6 ак. часов
Модули и пакеты. Множества. Модуль arrays. Основные операции по работе с файлами
Лекции
3 ак. часа
Обработка CSV файлов. Обработка исключений. Работа с датой
Лекции
3 ак. часа
Обработка CSV файлов. Обработка исключений. Работа с датой. Взаимодействие с JSON
Лекции
3 ак. часа
Обработка XML документов. Основы MySQl и PostgreSQL, сложные запросы, проектирование баз данных
Лекции
3 ак. часа
Взаимодействие с базами данных на Python. Многопоточность и асинхронность
Лекции
3 ак. часа
Основы ООП
Лекции
3 ак. часа
Модули Pandas и Numpy. Основы паттернов проектирования
Лекции
3 ак. часа
Создание и управление таблицами
Лекции
3 ак. часа
Выборка данных из нескольких таблиц
Лекции
3 ак. часа
Агрегирование данных
Лекции
3 ак. часа
Подзапросы и функции
Лекции
3 ак. часа
Углубление в T-SQL
Лекции
3 ак. часа
Apache Spark. Введение, Основы.
Лекции
3 ак. часа
Apache Spark SQL.
Лекции
3 ак. часа
Apache Spark, работа на кластере, разбор задач для сертификации Cloudera.
Лекции
3 ак. часа
Spark + Datagram, Практика по производительности.
Лекции
3 ак. часа
Введение в Spark Streaming, разработка потоков.
Лекции
3 ак. часа
Введение в Spark Structured Streaming, разработка потоков.
Лекции
3 ак. часа
Stateful операции и join'ы в Spark Structured Streaming
Лекции
3 ак. часа
Архитектура DataLake, HDFS. Apache Hadoop
Лекции
3 ак. часа
Практика HDFS, Sqoop. NoSQL, HBase. Kafka
Практика
Общий блок
48 часов
76 ак. часов
Производственная грамотность
Лекции
6 ак. часов
Банковское дело
Лекции
6 ак. часов
Soft Skills
Лекции