Мова викладання в курсі — російська. Незабаром буде доступна українська версія цього курсу.
Відеозаписи лекцій без зворотного зв'язку та участі викладача. Ви отримаєте доступ до матеріалів одразу після оплати.
Що дасть вам цей курс
— понимание ключевых способов интеграции, обработки, хранения больших данных
— умение работать с компонентами экосистемы Hadoop, распределенными хранилищами и платформами
— практические навыки разработки дата-сервисов, витрин и приложений
— знание принципов организации мониторинга, оркестрации, тестирования
Курс адресований розробникам, адміністраторам СУБД і всім, хто прагне підвищити професійний рівень, освоїти нові інструменти та займатися цікавими завданнями у сфері роботи з даними.
Після навчання Data Engineering ви станете затребуваним фахівцем, який:
— разворачивает, налаживает и оптимизирует инструменты обработки данных
— адаптирует датасеты для дальнейшей работы и аналитики
— создает сервисы, которые используют результаты обработки больших объемов данных
— отвечает за архитектуру данных в компании
Реальні кейси: приклади впроваджень, використання інструментів, оптимізації продуктивності, проблеми, помилки та прикладні результати
Цілісна картина викликів і завдань сучасного бізнесу, і ролі Інженера Даних у їх вирішенні
Висока практична спрямованість: Протягом курсу будемо інкрементально створювати працюючий продукт, вирішуючи прикладні завдання
Инженер данных — почему это актуально и интересно:
Перш ніж потрапити на стіл CEO у вигляді квартального звіту або індивідуальною добіркою книжок в email-розсилці, дані проробляють тривалий і складний, сповнений перетворень і трансформацій, шлях, що вимагає безперервного моніторингу та оркестрації.
У цьому ключі команда інженерів, яка готова забезпечити безперервне постачання достовірної інформації для всіх бізнес-споживачів і функцій відіграє найважливішу роль в ухваленні тактичних і стратегічних рішень всієї компанії.
Робота інженерів даних, зовні непомітна, напрочуд складна і цікава за своєю специфікою. Неймовірна кількість закономірностей і зв'язків, інструментів і підходів, параметрів і налаштувань не залишать байдужим жоден допитливий розум у пошуках оптимальних і елегантних рішень.
Необхідні знання
Необхідне:
— Опыт разработки на Java/Python
— Основы работы с БД: SQL, индексы, агрегирующие функции
— Базовые знания ОС: работа с командной строкой, доступ по SSH
Буде плюсом:
— Навыки программирования на Scala
— Знакомство с компонентами экосистемы Hadoop
— Понимание основ машинного обучения с позиции Data Scienist-а или аналитика
Програма навчання
У процесі навчання ви отримаєте комплексні знання та навички.
Модуль 1
Інженер Даних: завдання, інструменти, платформи
Тема 1. Інженер Даних. Завдання, навички, інструменти, потреби на ринку
Тема 2. Еволюція підходів роботи з даними. Базові принципи та поняття
Тема 3. Хмарні платформи. Дистрибутиви Cloudera та Hortonworks
Тема 4. Формати даних та їхні особливості
Модуль 2
Процесинг. Доступ до даних. ML
Тема 5. Вступ до Scala
Тема 6. Apache Spark — 1 часть
Тема 7. Apache Spark — 2 часть
Тема 8. Черги повідомлень, Kafka, Confluent platform
Тема 9. Spark Streaming
Тема 10. Доступ до даних, ноутбуки. Explore and visualize
Модуль 3
Розгортання ML-моделей
Тема 11. Production Code на Python. Організація та Packaging коду
Тема 12. Docker і REST-архітектура
Тема 13. Деплоймент моделей у Sagemaker
Модуль 4
Черги повідомлень. Сховища даних. SQL-доступ.
Тема 14. Розподілені файлові системи
Тема 15. Інструменти вивантаження даних зі сторонніх систем
Тема 16. DWH. Хранилища данных — 1 часть
Тема 17. DWH. Хранилища данных — 2 часть
Тема 18. Сховища NoSQL. Призначення та особливості
Тема 19. SQL-доступ до даних. Apache Hive.
Тема 20. ElasticSearch
Модуль 5
Забезпечувальні системи. Оркестрація, тестування, моніторинг
Тема 21. Оркестрація
Тема 22. Інтеграція, тестування, розгортання. CI / CD. DevOps
Тема 23. Моніторинг
Тема 24. Data Quality. Контроль якості даних, майстер-дані, Troubleshooting
Тема 25. Case studies. Кейси компаній.
Тема 26. Бонус. Подальший розвиток Hard skills Soft skills
Модуль 6
Проектна робота
Тема 27. Вибір теми та організація проєктної роботи
Тема 28. Консультація щодо проєктів і домашніх завдань
Тема 29. Захист проєктних робіт
Після навчання ви
Заберете із собою:
— основные и дополнительные материалы, и видеозаписи занятий;
— образцы кода;
— собственный проект, который можно будет показывать при трудоустройстве;
— сертификат о прохождении обучения.
У результаті навчання ви:
— будете иметь представление об основных классах задач Инженера Данных, инструментах, предназначенных для их решения, а также их преимуществах и особенностях;
— научитесь выстраивать пайплайны пакетной и потоковой обработки данных;
— сможете проектировать хранилища данных и организовывать оптимальный доступ для потребителей;
— получите ряд полезных навыков: умение грамотно составлять CV, проходить интервью, выстраивать совместную работу с коллегами
Відгуки
Відгуків немає, поки що.