Курс Data Engineer

Мова викладання в курсі – російська. Незабаром буде доступна українська версія цього курсу.

Відеозаписи лекцій без зворотного зв’язку та участі викладача. Ви отримаєте доступ до матеріалів одразу після оплати.

Що дасть вам цей курс

– розуміння ключових способів інтеграції, обробки, зберігання великих даних
– вміння працювати з компонентами екосистеми Hadoop, розподіленими сховищами і платформами
– практичні навички розроблення дата-сервісів, вітрин і додатків
– знання принципів організації моніторингу, оркестрації, тестування

Курс адресований розробникам, адміністраторам СУБД і всім, хто прагне підвищити професійний рівень, освоїти нові інструменти та займатися цікавими завданнями у сфері роботи з даними.

Після навчання Data Engineering ви станете затребуваним фахівцем, який:

– розгортає, налагоджує та оптимізує інструменти обробки даних
– адаптує датасети для подальшої роботи та аналітики
– створює сервіси, які використовують результати обробки великих обсягів даних
– відповідає за архітектуру даних у компанії

Real Case Studies: приклади впроваджень, використання інструментів, оптимізації продуктивності, проблеми, помилки та прикладні результати

Цілісна картина викликів і завдань сучасного бізнесу, та ролі Інженера Даних у їх вирішенні

Висока практична спрямованість: Протягом курсу будемо інкрементально створювати працюючий продукт, вирішуючи прикладні завдання

Інженер даних – чому це актуально та цікаво:

Перш ніж потрапити на стіл CEO у вигляді квартального звіту або індивідуальною добіркою книжок в email-розсилці, дані проробляють тривалий і складний, сповнений перетворень і трансформацій, шлях, що вимагає безперервного моніторингу та оркестрації.

У цьому ключі команда інженерів, яка готова забезпечити безперервне постачання достовірної інформації для всіх бізнес-споживачів і функцій відіграє найважливішу роль в ухваленні тактичних і стратегічних рішень всієї компанії.

Робота інженерів даних, зовні непомітна, напрочуд складна і цікава за своєю специфікою. Неймовірна кількість закономірностей і зв’язків, інструментів і підходів, параметрів і налаштувань не залишать байдужим жоден допитливий розум у пошуках оптимальних і елегантних рішень.

Необхідні знання

Необхідне:

– Досвід розробки на Java/Python
– Основи роботи з БД: SQL, індекси, агрегуючі функції
– Базові знання ОС: робота з командним рядком, доступ по SSH

Буде плюсом:

– Навички програмування на Scala
– Знайомство з компонентами екосистеми Hadoop
– Розуміння основ машинного навчання з позиції Data Scienist-а або аналітика

Програма навчання

У процесі навчання ви отримаєте комплексні знання та навички.

Модуль 1

Інженер Даних: завдання, інструменти, платформи

Тема 1. Інженер Даних. Завдання, навички, інструменти, потреби на ринку
Тема 2. Еволюція підходів роботи з даними. Базові принципи та поняття
Тема 3. Хмарні платформи. Дистрибутиви Cloudera і Hortonworks
Тема 4. Формати даних та їхні особливості

Модуль 2

Процесинг. Доступ до даних. ML

Тема 5. Вступ до Scala
Тема 6. Apache Spark – 1 частина
Тема 7. Apache Spark – 2 частина
Тема 8. Черги повідомлень, Kafka, Confluent platform
Тема 9. Spark Streaming
Тема 10. Доступ до даних, ноутбуки. Explore and visualize

Модуль 3

Розгортання ML-моделей

Тема 11. Production Code на Python. Організація та Packaging коду
Тема 12. Docker і REST-архітектура
Тема 13. Деплоймент моделей у Sagemaker

Модуль 4

Черги повідомлень. Сховища даних. SQL-доступ.

Тема 14. Розподілені файлові системи
Тема 15. Інструменти вивантаження даних зі сторонніх систем
Тема 16. DWH. Сховища даних – 1 частина
Тема 17. DWH. Сховища даних – 2 частина
Тема 18. Сховища NoSQL. Призначення та особливості
Тема 19. SQL-доступ до даних. Apache Hive.
Тема 20. ElasticSearch

Модуль 5

Забезпечувальні системи. Оркестрація, тестування, моніторинг

Тема 21. Оркестрація
Тема 22. Інтеграція, тестування, розгортання. CI / CD. DevOps
Тема 23. Моніторинг
Тема 24. Data Quality. Контроль якості даних, майстер-дані, Troubleshooting
Тема 25. Case studies. Кейси компаній.
Тема 26. Бонус. Подальший розвиток Hard skills Soft skills

Модуль 6

Проєктна робота

Тема 27. Вибір теми та організація проєктної роботи
Тема 28. Консультація щодо проєктів і домашніх завдань
Тема 29. Захист проєктних робіт

Після навчання ви

Заберете з собою:

– основні та додаткові матеріали та відеозаписи занять;
– зразки коду;
– власний проєкт, який можна буде показувати під час працевлаштування;
– сертифікат про проходження навчання.

У результаті навчання ви:

– матимете уявлення про основні класи завдань Інженера Даних, інструменти, призначені для їхнього розв’язання, а також їхні переваги й особливості;
– навчитеся вибудовувати пайплайни пакетної та потокової обробки даних;
– зможете проєктувати сховища даних і організовувати оптимальний доступ для споживачів;
– отримаєте низку корисних навичок: уміння грамотно складати CV, проходити інтерв’ю, вибудовувати спільну роботу з колегами