Бесплатный курс по программе
Data engineer
Бесплатный курс по программе
Data engineer
Почему
-
01/ высокий спросС постоянным увеличением количества данных, существует высокий спрос на специалистов по обработке, хранению и управлению данными, что делает эту область очень востребованной - 02/ Развитие навыковКурсы по обработке данных помогут вам освоить навыки работы с различными технологиями и инструментами для обработки больших объемов данных
- 03/ Постоянное развитиеРазнообразные задачи: обработка и анализ данных, разработка алгоритмов машинного обучения, оптимизация производительности систем и многое другое
- 04/ Большое сообщество и поддержкаПрохождение курса позволит вам встретиться с единомышленниками, расширить профессиональную сеть контактов и обменяться опытом с другими студентами и преподавателями
что ждет на курсе
Лекции и вебинары
2-3 раза в неделю
С 16:00 по мск
С 16:00 по мск
Домашка и практика
Сделаешь проект для портфолио
Эксперты и кураторы
Получишь навыки и обратную связь от сотрудников Neoflex
IT-комьюнити
Обменяешься знаниями, опытом и поддержкой
Программа обучения
Расскажем про базовые принципы работы команд, системы менеджмента и автоматизации, софт и хард скиллы
Поймем, чем занимается Data Engineer, разберем архитектуру строения DWH (КХД), познакомимся с OLAP и OLTP, рассмотрим отличия реляционных от нереляционных баз данных, освоим понятия BigData, DataLake и Data vault, изучим MPP на примере Greenplum
Рассмотрим понятия нормализации/денормализации, индексы и партиции, познакомимся с транзакциями и ACID
Рассмотрим объекты в базах данных: таблицы, представления, временные таблицы
Разберем схемы, Constraint, узнаем, как делать изменение таблиц, разграничение прав доступа, разберем представления, погрузимся в создание базы данных, познакомимся с конвертацией, функциями NULL и COALESCE, условиями IF-THEN-ELSE, изучим соединения (joins) и правила написания запросов, рассмотрим подзапросы и операторы IN, ANY, ALL, а также ключевые слова EXISTS, NOT EXISTS и оператор NOT IN
Познакомимся с групповыми функциями и ошибками при их использовании, разберем вложенные групповые функции в Postgres, освоим работу с множествами, узнаем, как манипулировать данными, поймем, для чего нужны транзакции, целостность чтения и оконные функции, изучим конструкцию CTE
Изучим процедуры и функции, триггеры и правила в PG/PL SQL
Обсудим, что такое ETL-процесс и для чего он нужен, познакомимся с инструментами Informtica PC, Talend и Datagram
Познакомимся с Airflow и его возможностями, изучим даги и таски Airflow, на практике попробуем создание дага, который будет осуществлять загрузку данных
Рассмотрим форматы хранения данных, MapReduce, Yarn, погрузимся в экосистему Hadoop
Познакомимся с BI системами и поймем, для чего они нужны, рассмотрим BI системы NR studio, Apex, Sap BO, Cognos, PowerBi, Qlick
Что нужно для участия
ООП
Знаешь принципы ООП и умеете их применять на практике
Основы реляционных БД
Знаешь структуру и модели РБД, а также понимаешь их преимущества
BigData
Понимание концепций и технологий, используемых для работы с большими данными
Знание SQL
Знаешь основные понятия SQL: select, join, подзапросы, вложенные запросы, оконные функции
ETL - процессы
Понимание основных этапов ETL/ELT, знание AirFlow, PySpark
Проектирование
Хотите освоить архитектуру современных хранилищ данных и научиться их проектировать
Проверьте себя
Пройди короткий тест из 5 вопросов, которые помогут оценить знания по направлению
| Начать тестирование |
Что из перечисленного верно описывает процесс нормализации данных в базах данных?
| Далее |
| Проверить |
| Узнать результат |
Какая команда SQL используется для выбора уникальных строк в результирующем наборе данных?
| Далее |
| Проверить |
| Узнать результат |
Какой оператор SQL используется для проверки отсутствия значения (NULL) в столбце?
| Далее |
| Проверить |
| Узнать результат |
Какой тип соединения в SQL возвращает все строки из левой таблицы и соответствующие строки из правой таблицы, заполняя отсутствующие данные значением NULL?
| Далее |
| Проверить |
| Узнать результат |
Какую роль играет конструкция FROM в запросе SQL?
| Далее |
| Проверить |
| Узнать результат |
Neo-венький
Привет новичкам! Кажется, кто-то еще в са-а-амом начале пути. Ух, как мы тебе завидуем – столько всего предстоит узнать! А чтобы понимать, на что ориентироваться и с чего начать – ознакомься с материалами на странице интересующего тебя направления.
| Пройти еще раз |
Neo-любитель
Ты явно где-то нечто читал или слышал – а это уже что-то! Так держать! Но не останавливайся и углубляй свои еще необузданные познания, чтобы стать нашим студентом!
| Пройти еще раз |
Neo-с-опытом
Тест наполовину пройден – успех наполовину в кармане. Мы уже не можем причислить тебя к новичкам, но и еще не можем к знатокам. Скажем одно – ты на верном пути, продолжай изучать!
| Пройти еще раз |
Neo-почти готовенький
Еще чуть-чуть! Это было неотразимо! Ты почти готов к настоящим вступительным испытаниям. Скорее исправляй пробелы в знаниях и ждем твоей заявки!
| Пройти еще раз |
Neo-отличник
Ого! А вот и ты, наш идеальный студент! Видим, что ты готовился. Желаем такого же успеха на вступительных испытаниях и будем рады видеть в числе наших студентов!
| Пройти еще раз |
Пройди короткий тест из 5 вопросов, которые помогут оценить знания по направлению
| Начать тестирование |
Что из перечисленного верно описывает процесс нормализации данных в базах данных?
| Далее |
| Проверить |
| Узнать результат |
Какая команда SQL используется для выбора уникальных строк в результирующем наборе данных?
| Далее |
| Проверить |
| Узнать результат |
Какой оператор SQL используется для проверки отсутствия значения (NULL) в столбце?
| Далее |
| Проверить |
| Узнать результат |
Какой тип соединения в SQL возвращает все строки из левой таблицы и соответствующие строки из правой таблицы, заполняя отсутствующие данные значением NULL?
| Далее |
| Проверить |
| Узнать результат |
Какую роль играет конструкция FROM в запросе SQL?
| Далее |
| Проверить |
| Узнать результат |
Neo-венький
Привет новичкам! Кажется, кто-то еще в са-а-амом начале пути. Ух, как мы тебе завидуем – столько всего предстоит узнать! А чтобы понимать, на что ориентироваться и с чего начать – ознакомься с материалами на странице интересующего тебя направления.
| Пройти еще раз |
Neo-любитель
Ты явно где-то нечто читал или слышал – а это уже что-то! Так держать! Но не останавливайся и углубляй свои еще необузданные познания, чтобы стать нашим студентом!
| Пройти еще раз |
Neo-с-опытом
Тест наполовину пройден – успех наполовину в кармане. Мы уже не можем причислить тебя к новичкам, но и еще не можем к знатокам. Скажем одно – ты на верном пути, продолжай изучать!
| Пройти еще раз |
Neo-почти готовенький
Еще чуть-чуть! Это было неотразимо! Ты почти готов к настоящим вступительным испытаниям. Скорее исправляй пробелы в знаниях и ждем твоей заявки!
| Пройти еще раз |
Neo-отличник
Ого! А вот и ты, наш идеальный студент! Видим, что ты готовился. Желаем такого же успеха на вступительных испытаниях и будем рады видеть в числе наших студентов!
| Пройти еще раз |
Материалы для самоподготовки
→ Что такое База Данных (ссылка)
→ Что из себя представляет язык SQL (ссылка)
→ SQL за 20 минут (ссылка)
→ Нормализация баз данных простыми словами № 1 (ссылка)
→ Нормализация баз данных простыми словами № 2 (ссылка)
→ Схемы «Звезда» и «Снежинка» (ссылка)
→ JSON и XML. Что лучше? (ссылка)
→ Структуры данных (ссылка)
→ Основы алгоритмов (ссылка)
→ Сложность алгоритмов (ссылка)
→ Основные виды сортировок и примеры их реализации (ссылка)
→ Какие бывают протоколы передачи данных (ссылка)
Остались
вопросы
вопросы
127015, г. Москва, ул. Вятская, д. 35, стр. 4, 1 подъезд, 2 этаж
Переходи в наш Telegram bot. С его помощью ты можешь подать заявку на обучение и узнать больше об Учебном Центре