Курс ведётся на русском языке: видео и материалы русскоязычные. Украинская версия курса появится позже.
Что вы сможете после курса
- Искать источники параллелизма в ML-задачах — в данных, модели и независимых задачах — и понимать границы: что параллелится полностью, что лишь частично и когда кластер вообще не нужен
- Работать с Apache Spark от архитектуры до прод-запуска: RDD, DataFrame и Dataset, минимизация перемешивания, сборка fat-jar, Spark Submit и выбор менеджера ресурсов
- Применять SparkML на облаке: рекомендации методом ALS на MovieLens, кластеризация k-means, деплой модели в SageMaker; писать собственные блоки SparkML с тестами на Breeze
- Вести потоковую обработку: Kafka с схема-регистри и Avro, Spark Streaming и Structured Streaming с гарантией exactly-once, подключение обученной модели к потоку, выбор движка между Spark, Flink, Storm, Kafka Streams и NiFi
- Ставить цели ML-проекта по SMART, вести анализ оттока, применять uplift-моделирование и интерпретацию моделей, проектировать и анализировать A/B-тесты — включая бандитские алгоритмы
- Выводить модели в эксплуатацию: паттерны инференса, конвейеры на Airflow, воспроизводимость через MLflow и DVC, онлайн-сервинг с фичер-стором, мониторингом и канареечным релизом
Кому подойдёт курс
Дата-сайентистам
Когда ML-задача перестаёт помещаться на одном компьютере, нужен переход на распределённые вычисления — курс показывает его по шагам: Spark от архитектуры до прод-запуска, SparkML на облаке, потоковая обработка. Судьба модели за пределами ноутбука тоже разобрана: от версионирования экспериментов до онлайн-сервинга.
Инженерам, доводящим модели до продакшена
Карточки курса называют инженеров, доводящих модели до продакшена, дефицитом рынка. Здесь эта работа разобрана целиком: паттерны инференса, Airflow, MLflow и DVC, фичер-стор, Docker и REST API, облака AWS. Рядом — JVM-инфраструктура: Spark на Scala, Kafka, Kubernetes.
Специалистам полного цикла
Чистых позиций дата-сайентиста или ML-инженера на рынке почти нет — востребован профиль, который ведёт модель от сырых данных до работающего сервиса. Именно этот путь курс разбирает целиком: от целей проекта и АБ-тестов до выпускного пайплайна. Подойдёт и тем, кто переводит проекты со small data на big data.
Не подойдёт тем, кто хочет выучить машинное обучение или Python с нуля: база ML предполагается, Python разбирается как стек под продакшн-задачи, а нейросетевой блок обзорный.
Как проходит обучение
- Практика на облаке AWS — Кластер EMR с Zeppelin, данные в S3, обучение рекомендаций и деплой модели в SageMaker, публикация образов в ECR — руки в реальной инфраструктуре, а не только на схемах
- Локальные Docker-стенды — HDFS из docker-compose, локальные Kafka и Spark, Jupyter со Scala одной командой — практику можно повторять без облака
- Домашняя работа после каждого модуля — Каждый блок закрепляется заданием — от собственной реализации линейной регрессии на Scala до сборки собственного блока SparkML
- Выпускной проект — Полный пайплайн от автоматической подготовки данных до обучения модели и инференса в проде — на обезличенном датасете рекомендательной тематики либо на собственной задаче
- Демо в ноутбуках и разборы кода — Каждая тема показывается на работающих примерах — от траекторий градиентного спуска до конфигурации кластера и стриминг-приложения
Что понадобится
- Docker — локальные стенды HDFS, Kafka и Spark поднимаются из docker-compose
- Jupyter Notebook или Google Colab для Python-практики; для Scala — окружение Almond под Docker
- Облако AWS для разделов о кластере: EMR, S3, SageMaker, ECR
Почему самому обычно не выходит
Граница «small data — big data» неочевидна: переход на кластер оправдан не всегда, часть алгоритмов параллелится лишь частично, а некоторые задачи стоит выносить из кластера в отдельные сервисы. Пока это не проговорено, легко потратить недели на кластер там, где хватало одного компьютера, — или наоборот держать нагрузку, которая давно переросла ноутбук.
Отдельные инструменты документированы, но их слишком много, чтобы собрать самому: Spark с тремя API, Kafka со схема-регистри, менеджеры ресурсов, Airflow, MLflow, DVC, Docker, облака. Связки между ними — гарантия exactly-once в стриминге, консистентные фичи на обучении и инференсе, воспроизводимость эксперимента — в документации поодиночке почти не описаны.
Даже готовые ответы дают споры: индустриального стандарта фичер-сторов не существует, true streaming спорит с микробатчем, а выбор между SageMaker и Azure ML зависит от задачи. В курсе эти развилки разбираются на практике и с недостатками каждой технологии.
Что изменится
До курса
- Модель живёт в ноутбуке — что с ней за пределами эксперимента, неизвестно
- Задача растёт, а обучение упирается в один компьютер
- Эксперимент невоспроизводим: версии данных, параметры и код разъезжаются
- Пайплайны держатся на cron и ручных перезапусках
- Код — исследовательский ноутбук, а не сервис
После курса
- Вы выбираете паттерн инференса и разворачиваете модель как сервис: Docker, REST API, фичер-стор, мониторинг, канареечный релиз
- Вы переносите обучение на кластер Spark и знаете, где кластер оправдан, а где нет
- Обучение воспроизводится: эксперименты версионируются в MLflow и DVC
- Конвейеры переведены на Airflow, потоковая обработка — на Kafka и Spark Streaming
- Production-код — модульный Python-проект с тестами, конфигом и REST API
Как устроен путь
- База и Scala Вводное занятие повторяет базу машинного обучения: типы задач, линейные модели, механику градиентного спуска, подготовку признаков и метрики. Параллельно с нуля даётся Scala — окружение Almond под Docker, матричные вычисления на Breeze, первая домашняя работа.
- Распределённая среда HDFS и эволюция хранилищ, менеджеры ресурсов, Apache Spark от архитектуры до прод-запуска. Дальше SparkML на облаке, собственные блоки библиотеки и сторонние инструменты: XGBoost4J, Elephas, Правда ML.
- Потоки и продукт Kafka, Spark Streaming и Structured Streaming, критерии выбора между Spark, Flink, Storm, Kafka Streams и NiFi. Продуктовая линия: цели ML-проекта по SMART, анализ оттока, АБ-тесты и бандитские алгоритмы.
- Продакшн и проект Паттерны инференса, Airflow, MLflow и DVC, онлайн-сервинг с фичер-стором, Python-стек с Docker и облаками, распределённое обучение нейросетей с Horovod. Финал — выпускной проект: полный пайплайн от подготовки данных до инференса в проде.
Программа курса
34 урока · 34 модуля · 61 час 14 минут видео · Разделы идут по пути выпускного проекта — от базы машинного обучения и Scala до потоковой обработки и онлайн-сервинга моделей; после каждого модуля домашняя работа
-
-
Вводное занятие: обзор программы и повторение базы — типы задач, линейная и логистическая регрессия, механика градиентного спуска, подготовка признаков, метрики качества и переобучение. Здесь же даётся рабочее определение больших данных: задача требует распределённых вычислений.
- Введение: линейные модели и градиентный спуск1:39:20
Вводное занятие: обзор программы курса — от распределённой обработки и хранения данных к потоковой обработке, оркестрации пайплайнов и выводу моделей в продакшн — и повторение базы машинного обучения. Разбираются типы задач обучения с учителем и без, линейная и логистическая регрессия, механика градиентного спуска и его модификации (стохастический, мини-батч, батч), роль шага обучения, подготовка признаков, L1- и L2-регуляризация, выбор метрик под задачу и утечка данных. В практике — демо-ноутбук с траекториями разных вариантов спуска и влиянием шага обучения на сходимость; домашнее задание — собственная реализация линейной регрессии на Scala.
- Введение: линейные модели и градиентный спуск1:39:20
-
Базовые конструкции языка: типы, val и var, функции, коллекции, кейс-классы и Option, окружение Almond под Docker. Матричные вычисления и линейная регрессия считаются на Breeze.
- Основы Scala и библиотека Breeze1:51:38
Урок знакомит с базовыми конструкциями Scala — статической типизацией, val и var, функциями, коллекциями, кейс-классами, паттерн-матчингом и типом Option; язык рассматривается как основной для Spark. Окружение разворачивается через Almond — Scala-ядро для Jupyter под Docker. В библиотеке Breeze, аналоге NumPy, разбираются векторы, матрицы и матричные операции, а линейная регрессия строится готовыми методами наименьших квадратов и лассо.
- Основы Scala и библиотека Breeze1:51:38
-
Зачем нужны объектные хранилища и как устроен HDFS: неймнода, блоки, репликация, high availability, Federation. Практика — работа с файловой системой из командной строки.
- Распределённые хранилища: устройство HDFS1:46:42
Занятие о распределённом хранении данных: зачем нужно объектное хранилище и как устроен HDFS — неймнода, блоки, репликация, high availability, Federation. Разбираются сервис координации ZooKeeper, принцип data locality, работа с файловой системой из командной строки и локальный Docker-стенд.
- Распределённые хранилища: устройство HDFS1:46:42
-
Обзор от инженера данных: разница data-intensive и compute-intensive задач, эволюция хранилищ от DWH до Data Lake и Data Mesh, модели данных. Принципы MPP — сегментация, партицирование, колоночное хранение — и демо на Dataproc и Redshift.
- Эволюция параллельных алгоритмов и хранилищ1:57:03
Обзор эволюции хранилищ от корпоративных DWH до Data Lake и Data Mesh: разница data-intensive и compute-intensive задач, модели данных, CAP-теорема. Объясняются принципы MPP — shared nothing, хэш-сегментация, партицирование, колоночное хранение — с демо на Dataproc и Redshift и разбором explain-планов Presto и Redshift.
- Эволюция параллельных алгоритмов и хранилищ1:57:03
-
Менеджеры ресурсов для Spark — Standalone, Mesos, YARN и Kubernetes: их устройство, режимы запуска заданий и планировщики. Подбор конфигурации кластера под нагрузки ETL и машинного обучения.
- Менеджеры ресурсов и деплой Spark2:04:49
Урок разбирает менеджеры ресурсов для Spark — Standalone, Mesos, YARN и Kubernetes: их устройство, режимы запуска заданий и планировщики, включая Capacity Scheduler и Fair Scheduler в YARN. Показаны вертикальное и горизонтальное масштабирование, локальность данных, высокая доступность мастера и подбор конфигурации кластера — соотношения памяти и ядер — под нагрузку ETL и обучения моделей. Отдельно разбираются клиентский и кластерный режимы запуска заданий и работа из ноутбуков через связку Jupyter, SparkMagic и Livy.
- Менеджеры ресурсов и деплой Spark2:04:49
-
Чем Spark сменил MapReduce, как устроено приложение из драйвера и исполнителей и чем различаются RDD, DataFrame и Dataset. Демонстрация ведётся в ноутбуке на Scala.
- Архитектура и API Apache Spark2:49:57
Урок вводит в Apache Spark: место фреймворка между распределённым хранилищем и менеджерами ресурсов, устройство приложения из драйвера и исполнителей, описание вычислений направленным графом с этапами и перемешиваниями. Разбираются ленивые трансформации и действия, три API — RDD, DataFrame и Dataset — и правила оптимизации: минимизировать перемешивание и не гонять данные через драйвер. Демонстрация ведётся в ноутбуке на Scala; дополнительно показаны broadcast-соединение, разбор планов в Spark UI и сборка проекта с fat-jar через IntelliJ IDEA и SBT.
- Архитектура и API Apache Spark2:49:57
-
Ограничения AdaBoost и градиентного бустинга, возможности XGBoost и LightGBM, полная параллелизация k-средних и её реализация на MapReduce. Это задаёт критерий: где кластер окупается, а где нет.
- Параллелизация ML: бустинг и кластеризация1:53:02
Урок разбирает, какие алгоритмы машинного обучения поддаются распараллеливанию: ограничения AdaBoost, частичное распараллеливание градиентного бустинга с выбором сплитов и мини-батчей, отличия XGBoost и LightGBM. На примере кластеризации k-средних показана полная параллелизация алгоритма и её реализация в парадигме MapReduce — центроиды в distributed cache, локальная агрегация комбайнерами и пересчёт центров редюсерами. Затронуты и практические рамки: Python-обёртки над нативными библиотеками захватывают все процессоры узла, а на кластере бустинг выигрывает не всегда.
- Параллелизация ML: бустинг и кластеризация1:53:02
-
Когда машинное обучение стоит переносить на распределённый кластер и где искать параллелизм: данные, модель и независимые задачи. Как на кластере работают градиентный спуск, факторизация матриц, деревья и ансамбли.
- Источники параллелизма в ML-алгоритмах1:40:41
Урок объясняет, когда переход на распределённое обучение оправдан, и показывает поиск источников параллелизма на трёх уровнях: данные, модель и независимые задачи. Разбирается, как на кластере работают градиентный спуск с мини-батчами и TreeReduce, параметр-сервер с планировщиком Gang Scheduler, факторизация матриц методом ALS, тематическая модель LDA, деревья решений и ансамбли. Отмечены и границы: для обучения нейросетей нужны GPU-суперкомпьютеры с быстрыми каналами между узлами, зато инференс без коммуникаций масштабируется линейно.
- Источники параллелизма в ML-алгоритмах1:40:41
-
Библиотека SparkML: история, два API и набор алгоритмов. Практика на AWS — рекомендации методом ALS на MovieLens с подбором гиперпараметров и кластеризация k-means; модель деплоится через SageMaker.
- SparkML2:06:45
Занятие знакомит с библиотекой SparkML (MLlib): её историей, двумя API — устаревающим spark.mllib поверх RDD и современным spark.ml для датафреймов — и набором алгоритмов от регрессий и деревьев до кластеризации k-means и рекомендательной ALS. Разбираются пути построения рекомендаций — коллаборативная фильтрация, факторизация матриц и сведение задачи к регрессии, — обучение ALS с кросс-валидацией и подбором гиперпараметров на датасете MovieLens, а также кластеризация k-means с подбором числа кластеров по силуэт-оценке. Практика на AWS: кластер EMR с Zeppelin и данными из S3, обучение ALS с выдачей персональных рекомендаций и деплой KMeans-модели на MNIST через SageMaker Spark в виде endpoint.
- SparkML2:06:45
-
Архитектура SparkML — трансформеры, эстиматоры, пайплайны, метаданные — и сквозной пример разработки собственного блока рекомендаций. Тест создаётся раньше кода: эталоном служит чистая математика Breeze, распределённая реализация сверяется с ней; модель сохраняется, библиотека собирается.
- Разработка кастомных блоков SparkML2:03:45
Урок разбирает архитектуру SparkML — трансформеры, эстиматоры, пайплайны, метаданные полей датафрейма, трейт Params и transformSchema — и математическую библиотеку Breeze для Scala с её векторами, матрицами и оптимизаторами. На сквозном примере коллаборативной фильтрации item-item по косинусной похожести показывается разработка собственного блока: сначала пишутся тесты с эталонной реализацией на Breeze, затем строится распределённая реализация эстиматора и модели с копированием, сохранением и чтением через MLWritable и MLReadable. В конце — сборка проекта SBT в IntelliJ IDEA и подключение джарника к Spark через spark-submit.
- Разработка кастомных блоков SparkML2:03:45
-
-
-
Градиентный бустинг в SparkML и сторонние библиотеки: XGBoost4J с GPU-ускорением через Rapids AI и распределённый Keras на Spark под названием Elephas. Плюс обзор SageMaker Spark.
- XGBoost, Elephas и SageMaker Spark1:42:05
Урок разбирает ансамбли на деревьях решений — случайный лес с бэггингом на бутстреп-подвыборках и градиентный бустинг, где деревья обучаются последовательно, — а также отличие XGBoost, учитывающего вторые производные функции потерь. Практика включает пайплайны PySpark с VectorAssembler и VectorIndexer и подбором гиперпараметров кросс-валидацией, мультиклассовую классификацию на XGBoost 4J, GPU-ускорение бустинга через Rapids AI и распределённое обучение Keras-сети на MNIST через Elephas с мастер-узлом и worker-узлами. Отдельно рассматривается SageMaker Spark, связывающий кластер EMR с ноутбуками через Livy, где алгоритм оформляется Docker-образом с REST-эндпоинтом предсказаний.
- XGBoost, Elephas и SageMaker Spark1:42:05
-
Обзор опенсорсной библиотеки Правда ML, расширяющей SparkML: ninja-этапы для обучения, Model Transformer, быстрая параллельная кросс-валидация. Подбор гиперпараметров — случайным и байесовским поиском.
- Правда ML и подбор гиперпараметров1:38:42
Разбор открытой библиотеки Правда ML, расширяющей SparkML: ExtractorColumn и AutoAssembler для сборки признаков, Model Summary с весами и именами атрибутов, ninja-этапы для кэширования на обучении и Model Transformer для объединения моделей. Показана параллельная кросс-валидация с метриками и материалом кривых по фолдам, а также подбор гиперпараметров случайным поиском на последовательностях Соболя и байесовской оптимизацией на гауссовском процессе. Отдельно — поиск по группам гиперпараметров и возобновление запусков после сбоя с промежуточных результатов.
- Правда ML и подбор гиперпараметров1:38:42
-
Отличия батчей и стримов и устройство Kafka: продюсеры, партиции, оффсеты, consumer-группы. Лямбда и капа архитектуры, микробатч против true streaming и проблема event time.
- Введение в потоковую обработку и Kafka1:28:56
Вводное занятие о потоковой обработке: сравнение батч- и стрим-обработки по скорости получения результата, профилю нагрузки и репроцессингу, а также сценарии стрима в ML — рекомендации при холодном старте, маркетинговые триггеры и контроль датчиков оборудования. Разбирается устройство Kafka — журнал, брокеры, топики и партиции, оффсеты и consumer-группы, роль ZooKeeper и формат сообщений на Avro. В финале — лямбда и капа архитектуры, различие микробатча и истинного стриминга, а также processing time и event time с водяными знаками.
- Введение в потоковую обработку и Kafka1:28:56
-
База Spark Streaming: гарантии доставки, источники и синки, чекпоинтинг и водяные знаки. Интеграция обученных ML-пайплайнов с Kafka и диагностика стриминг-приложений.
- Основы Spark Streaming и Kafka1:52:45
База Spark Streaming: гарантии доставки at-most-once, at-least-once и exactly-once, режимы Structured Streaming и DStream, источники и синки, чекпоинтинг через write-ahead log и водяные знаки для опоздавших событий. Показано, как обученные в Spark ML пайплайне модели сериализуются и подключаются к потоку Kafka через Direct-подход для скоринга. Также — триггеры, режим Continuous Processing, метрики стриминга в UI и диагностика приложения по GC-логам и flame-графам.
- Основы Spark Streaming и Kafka1:52:45
-
Сопоставление микробатча и непрерывного стриминга: ограничения D-Stream, устройство Structured Streaming и continuous processing. Демо — обнаружение аномалий в IoT-потоке на онлайн-обучаемой сети HTM.
- Микробатч и непрерывный стриминг2:05:02
Урок сопоставляет микробатч и непрерывный стриминг: ограничения D-Stream с RDD и окнами, устройство Structured Streaming как неограниченной таблицы с Dataset и DataFrame и режим continuous processing с долгоживущими задачами и фиксацией эпох в write-ahead log. В практической части — детекция аномалий в IoT-потоке с датчиков озона на онлайн-обучаемой сети Hierarchical Temporal Memory: SDR-кодирование, Spatial и Temporal Pooler, закрепление партиций Kafka за сетями. Демо разворачивается на ZooKeeper, Kafka и Zeppelin, где по мере онлайн-обучения визуализация ловит пики озона; каркас примеров предлагается разобрать локально по readme.
- Микробатч и непрерывный стриминг2:05:02
-
Принципиальная разница true streaming и микробатчевых фреймворков. Разбор Spark, Storm, Flink, Kafka Streams и NiFi и критерии выбора движка под тип задачи.
- True streaming против микробатча1:43:16
Урок объясняет принципиальную разницу между true streaming и микробатчевыми фреймворками и разбирает Spark, Storm, Flink, Kafka Streams и NiFi: поведение backpressure, поколения фреймворков от ручного описания нод графа до декларативности и критерии выбора движка под задачу — агрегаты на большом потоке, реакция на аномалии, стриминговый микросервис или перекладывание данных между хранилищами. Отдельное внимание уделено Flink: слои API, операторы keyBy, union и connect, типы окон включая сессионные, агрегатные функции, window и interval join, асинхронные запросы. В практической части поток просмотров страниц собирается в сессии с расчётом длительности и среднего времени на странице, а паттерн обогащения через RichCoFlatMapFunction мержит сессии с потоком обновлений профилей; разобранный код Flink выложен в репозитории.
- True streaming против микробатча1:43:16
-
Управленческое занятие: постановка целей по SMART, проверка, нужен ли ML, стоимость и обвязка ML в проде, состав команды. Дальше — метрики, риски и обзор сред для аналитики в Big Data стеке.
- Цели ML-проекта по SMART1:59:23
Управленческое занятие о постановке цели ML-проекта по SMART: различение задачи и цели, проверка, решается ли задача ML вообще, стоимость обвязки вокруг модели — сбор данных, тестирование, сервинг и мониторинг — и привязка проекта к деньгам через цепочку метрик от KPI и бизнес-показателей до продуктовых и офлайн-ML-метрик с проверкой АБ-тестом. Разбираются состав ML-команды по ролям, сложности вписывания ML-проектов в Scrum и Waterfall, тяжесть поддержки моделей в онлайне с дрейфом фичей, типовые провалы и закон Гудхарта, а также совет Google начинать с эвристик и первой модели не более чем с трёх признаков. В демо сравниваются среды для аналитики в big data стеке: Zeppelin, плагин Big Data Tools в IntelliJ IDEA и Polynote.
- Цели ML-проекта по SMART1:59:23
-
Долгосрочные ML-цели на задаче удержания пользователей: ловушки корреляций и когнитивных искажений, этапы анализа оттока, uplift-категории отклика. Интерпретация моделей — для бизнес-решений.
- Долгосрочные ML-цели и анализ оттока1:49:03
Урок связывает долгосрочные ML-цели с задачей удержания пользователей: корреляция против причинности и обратная причинность на примере признака «количество друзей», парадокс Симпсона на двух рекомендательных алгоритмах и вред ковровых рассылок, которые поднимают квартальные показатели, но в долгосроке ведут к отпискам. Разбираются uplift-моделирование с четырьмя категориями отклика на оповещение, этапы анализа оттока — разбиение на когорты, поиск причин ухода, прогноз вероятности ухода и выбор действия по сегментам, — метрики retention rate и отток, сегментация по LTV и признаки из динамики сессий, устройств и жалоб. В конце — кейс с завышенным ROC AUC из-за «мёртвых» клиентов и способы интерпретации моделей: коэффициенты линейных моделей, важность признаков у лесов и бустингов, LIME, SHAP и Grad-CAM для сложных моделей.
- Долгосрочные ML-цели и анализ оттока1:49:03
-
АБ-тестирование с продуктовой стороны: мотивация и дизайн эксперимента, чек-лист запуска, анализ с доверительными интервалами. Поправки на множественные сравнения и гетерогенный эффект.
- АБ-тестирование: дизайн, запуск и анализ1:38:19
Урок разбирает АБ-тестирование с продуктовой стороны: ценность дешёвого экспериментирования на кейсах Microsoft и Google, деление метрик на бизнес-показатели и технические, классический дизайн с контрольной и тестовыми группами, проверка инструментов измерения АА-экспериментом и разбиение пользователей хэшированием с солью. Приводится чек-лист запуска: фиксация гипотезы с ожидаемым приростом метрик до старта, предупреждение смежных команд, поэтапное включение с мониторингами и запрет править параметры эксперимента на ходу. Анализ результата покрывает p-value и статистическую мощность, t-тест Уэлча с оценкой величины эффекта в доверительных интервалах, поправки на множественные сравнения — Бонферрони, Холма и Бенджамини—Хохберга — и гетерогенный эффект подгрупп.
- АБ-тестирование: дизайн, запуск и анализ1:38:19
-
Расчёт выборки и t-тест на модельном датасете, бандитские алгоритмы — эпсилон-жадный и сэмплирование Томпсона. Приёмы АБ-тестирования в продакшене и этапы построения собственной платформы.
- Практика АБ-тестирования и многорукие бандиты2:11:31
Практическое занятие: на датасете с лендингами рассчитывается размер выборки и запускается t-тест, разбираются бандитские алгоритмы — эпсилон-жадный и сэмплирование Томпсона. Отдельно рассматриваются приёмы АБ-тестирования в продакшене — бакетизация, shadowing, ограждающие метрики — и этапы построения собственной платформы тестирования.
- Практика АБ-тестирования и многорукие бандиты2:11:31
-
-
-
Пакетный, синхронный и асинхронный паттерны инференса и границы их применимости. Подробно разбирается пакетный сценарий — от ограничений cron до оркестраторов Oozie и Airflow.
- Паттерны вывода ML-моделей в продакшн1:46:20
Разбираются пакетный, синхронный и асинхронный паттерны инференса и границы их применимости; подробно изучается пакетный сценарий. Показан путь от cron с его ограничениями к оркестраторам Oozie и Airflow: DAG, операторы, сенсоры, экзекьюторы и доставка дагов через CI/CD.
- Паттерны вывода ML-моделей в продакшн1:46:20
-
Паттерны train then serve и train to serve, чек-лист воспроизводимости без специальных инструментов. Обзор MLflow и DVC с демонстрацией.
- Воспроизводимость обучения моделей: MLflow и DVC2:01:41
Разбираются паттерны train then serve и train to serve, чек-лист воспроизводимости и минимальное решение без специальных инструментов. Далее обзор MLflow с его Tracking и Model Registry и DVC, который версонирует данные и пайплайны, — с демонстрацией работы инструментов.
- Воспроизводимость обучения моделей: MLflow и DVC2:01:41
-
Два способа упаковки модели — образ с зашитой моделью или загрузка из хранилища, универсальные форматы сериализации. Фичер-стор для консистентных фичей и постепенный раскат с мониторингом.
- Онлайн-инференс: доставка моделей, фичер-стор, мониторинг2:00:36
Онлайн-вычисление моделей: два способа упаковки — образ с зашитой моделью или загрузка из хранилища — и универсальные форматы сериализации вроде PMML, ONNX и MLeap. Разбираются фичер-стор как единая реализация фичей для обучения и инференса, мониторинг ML-сервиса и постепенный раскат через канареечные релизы и Blue-Green.
- Онлайн-инференс: доставка моделей, фичер-стор, мониторинг2:00:36
-
Повторение устройства Kafka: топики, партиции, сериализация, схема-регистри. Разбор потокового ETL и промышленного фичер-стора под высокой нагрузкой, затем практика с топиками, консюмерами и Kafka Streams.
- Потоковый ETL, Kafka и фичер-сторы под нагрузкой2:02:32
Разбирается устройство Kafka: топики, партиции, репликация, сериализация и схема-регистри с форматом Avro. Сравниваются классический ночной ETL и перенос части выгрузок в поток, а также работа фичер-сторов под высокой нагрузкой на примере стриминговой системы доставки фичей. В практике Kafka поднимается локально, создаются топики, а чтение и запись сообщений проверяются из консоли, Python и Scala-приложения на Kafka Streams.
- Потоковый ETL, Kafka и фичер-сторы под нагрузкой2:02:32
-
Когда Python нужен рядом с JVM-инфраструктурой: варианты ускорения интерпретатора, сценарии выноса задач из кластера. Практика — сборка PySpark-пайплайна на Dagster.
- Python рядом с JVM-кластером2:05:45
Разбирается, когда Python оправдан рядом с JVM-инфраструктурой: альтернативные интерпретаторы и диалекты языка (PyPy, Jython, Cython, GraalVM) и сценарии выноса задач из Spark-кластера — обучение нейросетей на GPU-машинах, инференс тяжёлых моделей, поиск похожих векторов и задачи с жёстким дедлайном. Отдельно рассматриваются связывание кластерных и внешних джоб по данным, организация логов, мониторинга и конфигурирования. В практике мини-кластер Spark поднимается в Docker, а PySpark-задача оформляется функциями-солидами Dagster.
- Python рядом с JVM-кластером2:05:45
-
Dask для распределённых вычислений с привычным интерфейсом NumPy и Pandas, устройство Kubernetes. Демонстрации деплоя моделей через Seldon Core и Kubeflow.
- Dask, Kubernetes и деплой моделей1:49:07
Обзор Dask, повторяющего интерфейсы NumPy, Pandas и scikit-learn для данных, которые не помещаются в память одной машины, и устройства Kubernetes: поды, ReplicaSet, Deployment, пробы готовности и живости, декларативные YAML-манифесты. В демо кластер разворачивается в облаке, модель ирисов деплоится через Seldon Core, а Kubeflow и MLflow показаны как инструменты пайплайнов, трекинга и сервинга моделей.
- Dask, Kubernetes и деплой моделей1:49:07
-
Принципы production-кода на Python: читаемость, модульность, тесты, документация. Разбор модульной структуры регрессионного проекта с конфигом, sklearn-пайплайном и packaging.
- Модульный Python-проект для продакшена1:33:34
Занятие открывает тему вывода моделей в продакшен: свойства production-кода — читаемость, модульность, тесты, обработка исключений, документация и переиспользование — и путь от исследовательского ноутбука к модульному проекту. На примере регрессионного проекта показаны структура из модулей и конфига, сборка пакета и публикация на PyPI или закрытом репозитории для внутренних библиотек, обучение через sklearn Pipeline с кастомными трансформерами.
- Модульный Python-проект для продакшена1:33:34
-
Как ML-модель становится доступной клиентам: Flask-обвязка над model.predict, связка веб-сервера и WSGI-шлюза, место CI/CD в выпуске версий. Первый Docker-контейнер с сервисом.
- Модель за REST API на Flask1:17:04
Урок разбирает, как обученная ML-модель становится доступна клиентам через REST API: Flask-обвязка над методом predict, запросы GET и POST с вектором признаков и ответы в JSON. Показана схема сервиса — веб-сервер Nginx, WSGI-шлюз Gunicorn и Flask-приложение с моделью, упакованные в Docker-контейнер, — а также место CI/CD в выпуске версий. На примере логистической регрессии модель сохраняется в pickle, подгружается при старте, а предсказания тестируются через Postman.
- Модель за REST API на Flask1:17:04
-
Путь Docker-образа с ML-моделью от локальной сборки до деплоя: структура контейнера, публикация в ECR через AWS CLI, деплой на виртуальный сервер и в SageMaker. Тренировка модели запускается из ноутбука.
- Деплой модели в Docker-образе1:30:10
Урок показывает путь Docker-образа с ML-моделью от локальной сборки до деплоя: проект из скрипта тренировки, Flask-приложения, Dockerfile и requirements.txt переносится на виртуальный сервер вроде EC2-инстанса, где docker run поднимает сервис. Разбирается контейнер под SageMaker с эндпоинтами ping и invocations, публикация образа в репозиторий ECR через AWS CLI и тренировка модели из ноутбука с данными в S3.
- Деплой модели в Docker-образе1:30:10
-
Архитектура Docker и слои образа, изоляция через namespaces, анализ трафика tcpdump. Управление несколькими контейнерами в Compose и деплой готового образа на EC2.
- Docker изнутри: tcpdump и Compose1:28:34
Урок углубляет работу с Docker: архитектура платформы с демоном и реестром образов, послойная сборка образа через Union File System и изоляция процессов через namespaces. Разбираются утилита tcpdump для перехвата и анализа сетевого трафика внутри контейнера и Docker Compose для управления несколькими связанными сервисами, например ML-моделью и базой данных. В практической части готовый образ публикуется и запускается на EC2-инстансе.
- Docker изнутри: tcpdump и Compose1:28:34
-
-
-
Два пути вывода модели в продакшн: на AWS модель открывается наружу через связку API Gateway и Lambda. На Heroku тот же сервис деплоится из Git без настройки инфраструктуры.
- Развёртывание модели: AWS и Heroku1:20:03
Урок показывает два пути вывода модели в продакшн. На AWS модель SageMaker открывается наружу через связку Amazon API Gateway и AWS Lambda: лямбда принимает событие, при необходимости препроцессит данные и вызовом invoke_endpoint обращается к эндпоинту. На Heroku тот же сервис на Flask с Gunicorn деплоится из Git через buildpack, requirements.txt и Procfile — без ручной настройки инфраструктуры.
- Развёртывание модели: AWS и Heroku1:20:03
-
Обзорная лекция об Apache MXNet: экосистема Gluon, нативная поддержка распределённого обучения через Horovod, туториал Dive into Deep Learning. Варианты развёртывания — EC2, SageMaker и Lambda.
- Фреймворк Apache MXNet1:13:30
Обзор фреймворка Apache MXNet и его экосистемы Gluon: Gluon CV закрывает компьютерное зрение, Gluon NLP — работу с текстами, GluonTS — вероятностное прогнозирование временных рядов. Разбирается нативная поддержка распределённого обучения через Horovod, туториал Dive into Deep Learning и варианты развёртывания модели на EC2, в SageMaker и Lambda.
- Фреймворк Apache MXNet1:13:30
-
Парадигма MapReduce, операции AllReduce и AllGather, примеры запуска с Keras, MXNet и Spark. Плюс обзор Ray и Modin как инструментов параллелизации.
- Распределённое обучение сетей с Horovod1:27:59
Лекция о распределённом обучении нейросетей с Horovod: парадигма MapReduce, операции AllReduce и AllGather, понятия rank и local rank. Разбираются примеры запуска обучения с Keras, MXNet и Spark, а также Ray и Modin как инструменты параллелизации Python-кода.
- Распределённое обучение сетей с Horovod1:27:59
-
Сравнение Azure ML и SageMaker, библиотека MMLSpark с LightGBM и Vowpal Wabbit, распределённый XGBoost4J. Отдельно — отличие бустинга от бэггинга.
- Градиентный бустинг в облаке и Spark1:33:56
Обзор реализаций градиентного бустинга в облаке и на Spark: сравнение платформ Azure Machine Learning и Amazon SageMaker — интерфейс, деплой моделей, подбор гиперпараметров и логинг. Разбираются библиотека MMLSpark с LightGBM и Vowpal Wabbit, распределённый XGBoost4J и отличие бустинга от бэггинга.
- Градиентный бустинг в облаке и Spark1:33:56
-
Частые вопросы
Здесь собраны ответы почти на все вопросы, которые задают перед покупкой. Нажмите на вопрос, чтобы раскрыть ответ.
Об этом курсе
-
База ML предполагается: вводное занятие её повторяет — типы задач, линейные модели, градиентный спуск, метрики и переобучение, — а не преподаёт с нуля. Python тоже разбирается как стек с готовыми сценариями применения под продакшн-задачи, а не как язык.
-
Нет, Scala даётся с нуля: базовые конструкции языка, окружение Almond под Docker, матричные вычисления на Breeze. Первая домашняя работа — собственная реализация линейной регрессии на Scala.
-
Основная облачная практика идёт на AWS: кластер EMR с Zeppelin, данные в S3, обучение рекомендаций и деплой модели в SageMaker, публикация Docker-образов в ECR. Локальные Docker-стенды позволяют повторять практику без облака: HDFS из docker-compose, локальные Kafka и Spark, Jupyter со Scala одной командой.
-
Полный пайплайн от автоматической подготовки данных до обучения модели и инференса в проде. Его можно сделать на обезличенном датасете рекомендательной тематики либо на собственной задаче. Домашняя работа предусмотрена после каждого модуля.
-
Рабочее определение больших данных из вводного занятия: задача требует распределённых вычислений. Переход на кластер оправдан, когда объёмы данных и бюджет переросли централизованный подход — курс разбирает и эти границы: где бустинг не выигрывает и какие задачи стоит выносить из кластера в отдельные сервисы.
-
Apache Spark (PySpark, Streaming, Structured Streaming), Kafka, HDFS, Kubernetes, Airflow, MLflow, DVC, Docker, Horovod, XGBoost, Dask, Seldon Core и Kubeflow. Из облаков — AWS (EC2, EMR, S3, SageMaker, Lambda, API Gateway), Azure Machine Learning, Google Cloud Dataproc и Heroku.
Доступ и материалы
-
Сразу после оплаты, в ту же секунду и автоматически. Ждать подтверждения не нужно. Доступ приходит двумя путями сразу. Первый: на почту, указанную при оформлении заказа, приходит письмо со ссылкой на материалы. Второй: та же ссылка появляется в вашем аккаунте на сайте, в разделе «Загрузки», и остаётся там постоянно.
-
Все видео и дополнительные файлы лежат в облачном хранилище. Ссылка на него — в вашем аккаунте на сайте, раздел «Загрузки», и в письме, которое пришло после оплаты. Аккаунт здесь — не формальность, а способ доставки: курс остаётся в нём навсегда. Даже если письмо потерялось или вы вспомнили о покупке через год, ссылка будет на месте.
-
Скачивать можно и нужно. Мы рекомендуем сохранить видео на компьютер и смотреть оттуда. Причина простая: облачное хранилище не рассчитано на просмотр видео. Иногда оно позволяет включить ролик прямо в браузере, но качество при этом заметно хуже исходного. На своём компьютере вы увидите курс таким, каким его записывали.
-
Бессрочно. Курс остаётся вашим навсегда, возвращаться к нему можно сколько угодно раз. Если через год или два ссылка вдруг перестанет открываться по техническим причинам — напишите на info@siluette.com.ua, мы её восстановим.
-
Прежде всего: доступ у вас есть в любом случае. Войдите на сайт и откройте раздел «Загрузки» — ссылка на курс уже там, независимо от того, дошло письмо или нет. Чаще всего письмо теряется из-за опечатки в адресе при оформлении заказа. Ещё стоит заглянуть в папку «Спам». Не разбирается — не тратьте время: напишите на info@siluette.com.ua или в чат в правом нижнем углу сайта, мы поможем.
-
Лучше всего на компьютере или ноутбуке: скачайте видео и откройте любым привычным плеером. Понадобятся установленные видеокодеки — на большинстве компьютеров они уже есть. Скачать курс можно на сколько угодно устройств. А вот телефон мы не советуем, и по двум причинам. На маленьком экране плохо видно детали, особенно если в уроке показывают интерфейс программы. И на телефонах часто нет кодеков для форматов, в которых записаны видео.
Оплата и возврат
-
Банковской картой Visa, MasterCard или Prostir, через Google Pay, Apple Pay, Masterpass, Visa Checkout, платёжный QR-код, Botpay в Telegram или Privat24. Есть и оплата частями: Монобанк (3 или 4 платежа), А-Банк (2, 3 или 4 платежа и рассрочка), Банк Глобус (8 платежей), «Скибочка» от OTP Bank (3 платежа), мгновенная рассрочка и оплата частями от ПриватБанка.
-
Да. Платёжная система принимает карты из Евросоюза и любых других стран. Одна деталь, о которой часто забывают: банк может попросить подтвердить платёж — в мобильном приложении или кодом из СМС. Если оплата не проходит, проверьте приложение банка и сообщения.
-
Добавьте в корзину два курса или больше — скидка применится автоматически ко всем товарам в корзине. Два курса: минус 20% на оба. Пять курсов: минус 20% на все пять. Скидка сочетается с любыми акционными ценами и действует на весь каталог без исключений.
-
Цифровые товары возврату и обмену не подлежат. Это общее правило для всех электронных товаров в Украине — постановление Кабинета Министров № 172 от 19 марта 1994 года. При этом мы всегда на связи. Если доступ не открывается, ссылка перестала работать или файлы повреждены — напишите на info@siluette.com.ua, укажите дату и номер заказа. Восстановим. Если что-то непонятно в самом курсе, тоже пишите — подскажем.
-
Пока нет. Мы работаем только с частными покупателями — безналичной оплаты по счёту от юридических лиц сейчас нет.
Как проходит обучение
-
Нет. Все курсы — это записи уроков для самостоятельного изучения: преподаватель не отвечает на вопросы и не проверяет домашние задания. Именно поэтому курсы стоят намного дешевле обучения с куратором. Вы получаете тот же материал, но занимаетесь сами и в своём темпе.
-
Да, цифровой сертификат — по запросу и бесплатно. Напишите на info@siluette.com.ua, укажите имя и фамилию ровно в том виде, в каком хотите видеть их в сертификате, и мы пришлём его в течение суток.
-
Для большинства курсов — нет. Они рассчитаны на начальный уровень и объясняют с азов. Если курс требует подготовки, это сказано в его описании.
-
Нет. Ни дедлайнов, ни расписания, ни сгорающего доступа. Скачали — смотрите когда удобно, с любыми перерывами.
-
Курс покупается для личного использования, и мы просим относиться к этому по-человечески: за каждым уроком стоит работа, а цена и так сильно снижена.
Поддержка
-
Лучше всего на info@siluette.com.ua. Есть и чат в правом нижнем углу сайта, но почта надёжнее: там можно всё описать подробно и приложить скриншоты. Просьба: опишите, что именно вы делали и что пошло не так, и приложите снимок экрана с ошибкой. Так мы решим вопрос сразу, а не будем полдня выяснять, что произошло.
-
В рабочее время, с 9:00 до 19:00, на почту обычно отвечаем в течение часа, в чате — за пару минут. После 19:00 тоже случается, но время ответа не обещаем.






Отзывы покупателей
17.06.2025 Подтвержденный клиент
SparkML - это мощная штука. Курс помог разобраться, как переносить алгоритмы в распределенную среду. Очень много технических деталей.
02.03.2024 Подтвержденный клиент
Вывод в продакшн - это самая ценная часть. Мониторинг, версионирование, онлайн-сервинг - все разложили по полочкам.
11.02.2024 Подтвержденный клиент
Очень серьезный и глубокий курс. Я Data Engineer, и мне было важно понять, как применять ML на больших данных. Курс дал полную картину.