Data Engineer
Разработка приложений
и интеграционных решений
для финансового сектора рынка
rrrr
Java / Scala / Python /
C++ / C# / PHP
У тебя есть опыт разработки на одном из популярных языков программирования
Системы управления базами данных
Уже доводилось работать с системами управления базами данных
Операционная система "Linux"
Это для тебя не просто слово
Чему научитесь
SQL
Подробные теоретические лекции, подкрепляемые практикой – вложенные и рекурсивные запросы, соединения, индексы, работа с планом запроса, управление пользователями и многое другое;
PL/SQL
Вы узнаете как грамотно создавать пакеты, триггеры и хранимые процедуры. Научитесь работать с курсорами и динамическим SQL;
BigData – первое знакомство
Что привело к появлению направления BigData? Сравнение с традиционными БД. Примеры использования BigData; Знакомство с Hadoop. Обзор возможностей Datagram;
Hadoop - полное погружение в BigData
Обзор экосистемы Hadoop (Zookeeper, Spark, Hive, HBase, Livy, Airflow, Zeeplin, ...). Особенности хранения данных в HDFS. Как работает кластер и зачем нужен YARN;
Spark – выше, быстрее, параллельней
Создание и запуск сложных трансформаций. Виды преобразований: Узкие и Широкие, Shuffle Изучение плана запроса. Как работает Spark подробно (Eager and Lazy, кеширование, Lineage). Опмизация приложений и многое другое.
Инструментарий DataEngineer'а
Решения, помогающие в работе с большими данными - Cloudera, Hue, Zeppelin, Sqoop
Ваши задачи
От реляционной классики до современных BigData технологий, интересные задачи
и менторство от опытных наставников – всё это ждёт тебя на нашем курсе
«Data Engineering». Наша миссия - научить тебя строить полноценны
ETL-конвейер и умело выбирать инструменты для реализации
отдельных задач по обработке данных