Курс Data Engineer

Мова викладання в курсі — російська. Незабаром буде доступна українська версія цього курсу.

Відеозаписи лекцій без зворотного зв'язку та участі викладача. Ви отримаєте доступ до матеріалів одразу після оплати.

Що дасть вам цей курс

— понимание ключевых способов интеграции, обработки, хранения больших данных
— умение работать с компонентами экосистемы Hadoop, распределенными хранилищами и платформами
— практические навыки разработки дата-сервисов, витрин и приложений
— знание принципов организации мониторинга, оркестрации, тестирования

Курс адресований розробникам, адміністраторам СУБД і всім, хто прагне підвищити професійний рівень, освоїти нові інструменти та займатися цікавими завданнями у сфері роботи з даними.

Після навчання Data Engineering ви станете затребуваним фахівцем, який:

— разворачивает, налаживает и оптимизирует инструменты обработки данных
— адаптирует датасеты для дальнейшей работы и аналитики
— создает сервисы, которые используют результаты обработки больших объемов данных
— отвечает за архитектуру данных в компании

Реальні кейси: приклади впроваджень, використання інструментів, оптимізації продуктивності, проблеми, помилки та прикладні результати

Цілісна картина викликів і завдань сучасного бізнесу, і ролі Інженера Даних у їх вирішенні

Висока практична спрямованість: Протягом курсу будемо інкрементально створювати працюючий продукт, вирішуючи прикладні завдання

Инженер данных — почему это актуально и интересно:

Перш ніж потрапити на стіл CEO у вигляді квартального звіту або індивідуальною добіркою книжок в email-розсилці, дані проробляють тривалий і складний, сповнений перетворень і трансформацій, шлях, що вимагає безперервного моніторингу та оркестрації.

У цьому ключі команда інженерів, яка готова забезпечити безперервне постачання достовірної інформації для всіх бізнес-споживачів і функцій відіграє найважливішу роль в ухваленні тактичних і стратегічних рішень всієї компанії.

Робота інженерів даних, зовні непомітна, напрочуд складна і цікава за своєю специфікою. Неймовірна кількість закономірностей і зв'язків, інструментів і підходів, параметрів і налаштувань не залишать байдужим жоден допитливий розум у пошуках оптимальних і елегантних рішень.

Необхідні знання

Необхідне:

— Опыт разработки на Java/Python
— Основы работы с БД: SQL, индексы, агрегирующие функции
— Базовые знания ОС: работа с командной строкой, доступ по SSH

Буде плюсом:

— Навыки программирования на Scala
— Знакомство с компонентами экосистемы Hadoop
— Понимание основ машинного обучения с позиции Data Scienist-а или аналитика

Програма навчання

У процесі навчання ви отримаєте комплексні знання та навички.

Модуль 1

Інженер Даних: завдання, інструменти, платформи

Тема 1. Інженер Даних. Завдання, навички, інструменти, потреби на ринку
Тема 2. Еволюція підходів роботи з даними. Базові принципи та поняття
Тема 3. Хмарні платформи. Дистрибутиви Cloudera та Hortonworks
Тема 4. Формати даних та їхні особливості

Модуль 2

Процесинг. Доступ до даних. ML

Тема 5. Вступ до Scala
Тема 6. Apache Spark — 1 часть
Тема 7. Apache Spark — 2 часть
Тема 8. Черги повідомлень, Kafka, Confluent platform
Тема 9. Spark Streaming
Тема 10. Доступ до даних, ноутбуки. Explore and visualize

Модуль 3

Розгортання ML-моделей

Тема 11. Production Code на Python. Організація та Packaging коду
Тема 12. Docker і REST-архітектура
Тема 13. Деплоймент моделей у Sagemaker

Модуль 4

Черги повідомлень. Сховища даних. SQL-доступ.

Тема 14. Розподілені файлові системи
Тема 15. Інструменти вивантаження даних зі сторонніх систем
Тема 16. DWH. Хранилища данных — 1 часть
Тема 17. DWH. Хранилища данных — 2 часть
Тема 18. Сховища NoSQL. Призначення та особливості
Тема 19. SQL-доступ до даних. Apache Hive.
Тема 20. ElasticSearch

Модуль 5

Забезпечувальні системи. Оркестрація, тестування, моніторинг

Тема 21. Оркестрація
Тема 22. Інтеграція, тестування, розгортання. CI / CD. DevOps
Тема 23. Моніторинг
Тема 24. Data Quality. Контроль якості даних, майстер-дані, Troubleshooting
Тема 25. Case studies. Кейси компаній.
Тема 26. Бонус. Подальший розвиток Hard skills Soft skills

Модуль 6

Проектна робота

Тема 27. Вибір теми та організація проєктної роботи
Тема 28. Консультація щодо проєктів і домашніх завдань
Тема 29. Захист проєктних робіт

Після навчання ви

Заберете із собою:

— основные и дополнительные материалы, и видеозаписи занятий;
— образцы кода;
— собственный проект, который можно будет показывать при трудоустройстве;
— сертификат о прохождении обучения.

У результаті навчання ви:

— будете иметь представление об основных классах задач Инженера Данных, инструментах, предназначенных для их решения, а также их преимуществах и особенностях;
— научитесь выстраивать пайплайны пакетной и потоковой обработки данных;
— сможете проектировать хранилища данных и организовывать оптимальный доступ для потребителей;
— получите ряд полезных навыков: умение грамотно составлять CV, проходить интервью, выстраивать совместную работу с коллегами