Курс Machine Learning на великих даних

Мова викладання в курсі – російська. Незабаром буде доступна українська версія цього курсу.

Відеозаписи лекцій без зворотного зв’язку та участі викладача. Ви отримаєте доступ до матеріалів одразу після оплати.

Що дасть вам цей курс

Курс розрахований на Data Engineer-ів або фахівців у машинному навчанні.

Ви навчитеся:

використовувати стандартні інструменти ML-конвеєрів у розподіленому середовищі;
розробляти власні блоки для ML-конвеєрів;
адаптувати ML-алгоритми до розподіленого середовища та інструментів big data;
використовувати Spark, SparkML, Spar Streaming;
організовувати промислові конвеєри збору даних;
розробляти алгоритми потокової підготовки даних для машинного навчання;
забезпечувати контроль якості на всіх етапах руху ML-рішень у промислову експлуатацію.

Необхідні знання

Базові навички програмування:
керуючі конструкції, цикли, рекурсія;
основні структури даних: масиви, списки, словники, дерева;
базові принципи ООП;
знайомство з однією з мов: Python, Java, Scala, C .
Математика:
лінійна алгебра: вектори, матриці та їхні добутки;
математика: похідна простих і композитних функцій;
обчислювальні методи: градієнтний спуск, Ньютонівські ітерації;
теорія ймовірності: випадкові події та величини, математичне очікування, дисперсія.

Технології:

розуміння основ роботи обчислювальної техніки в рамках архітектури фон Неймана (процесор, пам’ять, кеш, сховище, що підключається);
розуміння загальних принципів реляційних СУБД, знання SQL.
Буде плюсом: знайомство з класичними алгоритмами машинного навчання.

Програма курсу:

Базові вступні для старту курсу

Тема 1. Градієнтний спуск і лінійні моделі
Тема 2. Огляд основних методів і метрик машинного навчання
Тема 3. Основи програмування на Scala

Технологічні основи розподіленого оброблення даних

Тема 4. Еволюція паралельних алгоритмів
Тема 5. Менеджери ресурсів у розподілених системах
Тема 6. Розподілені сховища
Тема 7. Основи Apache Spark

Основи розподіленого МL

Тема 8. Перенесення МЛ-алгоритмів у розподілене середовище
Тема 9. ML в Apache Spark
Тема 10. Розробка власних блоків для SparkML
Тема 11. Сторонні бібліотеки для використання зі Spark
Тема 12. Оптимізація гіперпараметрів і AutoML

Потокове оброблення даних

Тема 13. Потокове оброблення даних
Тема 14. Spark Streaming
Тема 15. Структурний і безперервний стримінг у Spark
Тема 16. Альтернативні потокові фреймворки, альтернативні потокові фреймворки

Цілепокладання та аналіз результатів

Тема 17. Визначення мети МЛ-проєкту та попередній аналіз
Тема 18. Довгострокові ML-цілі на прикладі завдання зменшення відтоку
Тема 19. А/Б тестування
Тема 20. Додаткові теми

Виведення результатів ML у продакшн

Тема 21. Підходи до виведення ML-рішень у продакшн
Тема 22. Версіонування, відтворюваність і моніторинг
Тема 23. Онлайн-сервінг моделей
Тема 24. Патерни асинхронного потокового ML і ETL
Тема 25. Якщо треба Python
Тема 26. Альтернативні фреймворки з підтримкою Python і сфера застосування Dusk, KubeFlow, Seldon Core, H2O. Особливості експлуатації гетерогенних систем у промі

ML на python у продакшні

Тема 27. Production Code на Python. Організація та Packaging коду
Тема 28. REST-архітектура: Flask API
Тема 29. Docker: Структура, застосування, деплой
Тема 30. Amazon Sagemaker
Тема 31. AWS ML Service

Просунуті топіки

Тема 32. Нейромережі
Тема 33. Розподілене навчання та інференс нейромереж
Тема 34. Градієнтний бустинг на деревах
Тема 35. Навчання з підкріпленням