Распродажа

Курс Machine Learning на больших данных: От теории до Production

Перенос машинного обучения в распределённую среду и вывод моделей в продакшн

Первоначальная цена составляла 990 грн.Текущая цена: 390 грн.

-60%
Вы экономите: 600 грн (60%)
До конца акции:04дн11час55мин45сек

−20% при покупке от 2 курсов — активируется автоматически

Когда ML-задача перестаёт помещаться на одном компьютере, меняется и стек: появляются кластеры, Kafka и вопрос, куда модель идёт после ноутбука. Курс собирает этот путь на практике — от архитектуры HDFS и запуска Spark до потоковой обработки, АБ-тестов и онлайн-сервинга на Docker и AWS.

  • Переносить ML-задачи на кластер Apache Spark: от RDD, DataFrame и Dataset до прод-запуска через Spark Submit
  • Обучать и деплоить модели на облаке: рекомендации ALS в SageMaker, потоковая обработка на Kafka и Spark Streaming
  • Выводить модели в продакшн: Docker, REST API, MLflow и DVC, фичер-стор и мониторинг
Add to Cart
Курс Machine Learning на больших данных
Курс Machine Learning на больших данных: От теории до Production
990 грн Первоначальная цена составляла 990 грн.390 грнТекущая цена: 390 грн.
  • 61 час 14 минут видео
  • 34 урока в 34 модулях
  • Скачивается на компьютер
  • Доступ навсегда, без дедлайнов
  • Сертификат по запросу

Цифровой видеокурс для самостоятельного изучения, без обратной связи с преподавателем. После оплаты курс появится в вашем аккаунте на сайте, а ссылка на материалы придёт на email.

Покупка занимает минуту
  1. Добавляете курс в корзину.
  2. Вводите почту и пароль — это ваш аккаунт, в нём курс будет храниться постоянно.
  3. Оплачиваете любым удобным способом — их больше восьми.
  4. Курс сразу открывается в аккаунте, ссылка дублируется на почту.

Доступ навсегда: вернуться к курсу можно и через год. Вопросы — чат на сайте или info@siluette.com.ua.

Возьмите вместе

Два курса780 грн
Скидка −20 %−156 грн
К оплате624 грн

Курс ведётся на русском языке: видео и материалы русскоязычные. Украинская версия курса появится позже.

Что вы сможете после курса

  • Искать источники параллелизма в ML-задачах — в данных, модели и независимых задачах — и понимать границы: что параллелится полностью, что лишь частично и когда кластер вообще не нужен
  • Работать с Apache Spark от архитектуры до прод-запуска: RDD, DataFrame и Dataset, минимизация перемешивания, сборка fat-jar, Spark Submit и выбор менеджера ресурсов
  • Применять SparkML на облаке: рекомендации методом ALS на MovieLens, кластеризация k-means, деплой модели в SageMaker; писать собственные блоки SparkML с тестами на Breeze
  • Вести потоковую обработку: Kafka с схема-регистри и Avro, Spark Streaming и Structured Streaming с гарантией exactly-once, подключение обученной модели к потоку, выбор движка между Spark, Flink, Storm, Kafka Streams и NiFi
  • Ставить цели ML-проекта по SMART, вести анализ оттока, применять uplift-моделирование и интерпретацию моделей, проектировать и анализировать A/B-тесты — включая бандитские алгоритмы
  • Выводить модели в эксплуатацию: паттерны инференса, конвейеры на Airflow, воспроизводимость через MLflow и DVC, онлайн-сервинг с фичер-стором, мониторингом и канареечным релизом

Кому подойдёт курс

Дата-сайентистам

Когда ML-задача перестаёт помещаться на одном компьютере, нужен переход на распределённые вычисления — курс показывает его по шагам: Spark от архитектуры до прод-запуска, SparkML на облаке, потоковая обработка. Судьба модели за пределами ноутбука тоже разобрана: от версионирования экспериментов до онлайн-сервинга.

Инженерам, доводящим модели до продакшена

Карточки курса называют инженеров, доводящих модели до продакшена, дефицитом рынка. Здесь эта работа разобрана целиком: паттерны инференса, Airflow, MLflow и DVC, фичер-стор, Docker и REST API, облака AWS. Рядом — JVM-инфраструктура: Spark на Scala, Kafka, Kubernetes.

Специалистам полного цикла

Чистых позиций дата-сайентиста или ML-инженера на рынке почти нет — востребован профиль, который ведёт модель от сырых данных до работающего сервиса. Именно этот путь курс разбирает целиком: от целей проекта и АБ-тестов до выпускного пайплайна. Подойдёт и тем, кто переводит проекты со small data на big data.

Не подойдёт тем, кто хочет выучить машинное обучение или Python с нуля: база ML предполагается, Python разбирается как стек под продакшн-задачи, а нейросетевой блок обзорный.

Как проходит обучение

  • Практика на облаке AWS — Кластер EMR с Zeppelin, данные в S3, обучение рекомендаций и деплой модели в SageMaker, публикация образов в ECR — руки в реальной инфраструктуре, а не только на схемах
  • Локальные Docker-стенды — HDFS из docker-compose, локальные Kafka и Spark, Jupyter со Scala одной командой — практику можно повторять без облака
  • Домашняя работа после каждого модуля — Каждый блок закрепляется заданием — от собственной реализации линейной регрессии на Scala до сборки собственного блока SparkML
  • Выпускной проект — Полный пайплайн от автоматической подготовки данных до обучения модели и инференса в проде — на обезличенном датасете рекомендательной тематики либо на собственной задаче
  • Демо в ноутбуках и разборы кода — Каждая тема показывается на работающих примерах — от траекторий градиентного спуска до конфигурации кластера и стриминг-приложения

Что понадобится

  • Docker — локальные стенды HDFS, Kafka и Spark поднимаются из docker-compose
  • Jupyter Notebook или Google Colab для Python-практики; для Scala — окружение Almond под Docker
  • Облако AWS для разделов о кластере: EMR, S3, SageMaker, ECR

Почему самому обычно не выходит

Граница «small data — big data» неочевидна: переход на кластер оправдан не всегда, часть алгоритмов параллелится лишь частично, а некоторые задачи стоит выносить из кластера в отдельные сервисы. Пока это не проговорено, легко потратить недели на кластер там, где хватало одного компьютера, — или наоборот держать нагрузку, которая давно переросла ноутбук.

Отдельные инструменты документированы, но их слишком много, чтобы собрать самому: Spark с тремя API, Kafka со схема-регистри, менеджеры ресурсов, Airflow, MLflow, DVC, Docker, облака. Связки между ними — гарантия exactly-once в стриминге, консистентные фичи на обучении и инференсе, воспроизводимость эксперимента — в документации поодиночке почти не описаны.

Даже готовые ответы дают споры: индустриального стандарта фичер-сторов не существует, true streaming спорит с микробатчем, а выбор между SageMaker и Azure ML зависит от задачи. В курсе эти развилки разбираются на практике и с недостатками каждой технологии.

Что изменится

До курса

  • Модель живёт в ноутбуке — что с ней за пределами эксперимента, неизвестно
  • Задача растёт, а обучение упирается в один компьютер
  • Эксперимент невоспроизводим: версии данных, параметры и код разъезжаются
  • Пайплайны держатся на cron и ручных перезапусках
  • Код — исследовательский ноутбук, а не сервис

После курса

  • Вы выбираете паттерн инференса и разворачиваете модель как сервис: Docker, REST API, фичер-стор, мониторинг, канареечный релиз
  • Вы переносите обучение на кластер Spark и знаете, где кластер оправдан, а где нет
  • Обучение воспроизводится: эксперименты версионируются в MLflow и DVC
  • Конвейеры переведены на Airflow, потоковая обработка — на Kafka и Spark Streaming
  • Production-код — модульный Python-проект с тестами, конфигом и REST API

Как устроен путь

  1. База и Scala Вводное занятие повторяет базу машинного обучения: типы задач, линейные модели, механику градиентного спуска, подготовку признаков и метрики. Параллельно с нуля даётся Scala — окружение Almond под Docker, матричные вычисления на Breeze, первая домашняя работа.
  2. Распределённая среда HDFS и эволюция хранилищ, менеджеры ресурсов, Apache Spark от архитектуры до прод-запуска. Дальше SparkML на облаке, собственные блоки библиотеки и сторонние инструменты: XGBoost4J, Elephas, Правда ML.
  3. Потоки и продукт Kafka, Spark Streaming и Structured Streaming, критерии выбора между Spark, Flink, Storm, Kafka Streams и NiFi. Продуктовая линия: цели ML-проекта по SMART, анализ оттока, АБ-тесты и бандитские алгоритмы.
  4. Продакшн и проект Паттерны инференса, Airflow, MLflow и DVC, онлайн-сервинг с фичер-стором, Python-стек с Docker и облаками, распределённое обучение нейросетей с Horovod. Финал — выпускной проект: полный пайплайн от подготовки данных до инференса в проде.

Программа курса

34 урока · 34 модуля · 61 час 14 минут видео · Разделы идут по пути выпускного проекта — от базы машинного обучения и Scala до потоковой обработки и онлайн-сервинга моделей; после каждого модуля домашняя работа

    • Вводное занятие: обзор программы и повторение базы — типы задач, линейная и логистическая регрессия, механика градиентного спуска, подготовка признаков, метрики качества и переобучение. Здесь же даётся рабочее определение больших данных: задача требует распределённых вычислений.

      • Введение: линейные модели и градиентный спуск1:39:20

        Вводное занятие: обзор программы курса — от распределённой обработки и хранения данных к потоковой обработке, оркестрации пайплайнов и выводу моделей в продакшн — и повторение базы машинного обучения. Разбираются типы задач обучения с учителем и без, линейная и логистическая регрессия, механика градиентного спуска и его модификации (стохастический, мини-батч, батч), роль шага обучения, подготовка признаков, L1- и L2-регуляризация, выбор метрик под задачу и утечка данных. В практике — демо-ноутбук с траекториями разных вариантов спуска и влиянием шага обучения на сходимость; домашнее задание — собственная реализация линейной регрессии на Scala.

    • Базовые конструкции языка: типы, val и var, функции, коллекции, кейс-классы и Option, окружение Almond под Docker. Матричные вычисления и линейная регрессия считаются на Breeze.

      • Основы Scala и библиотека Breeze1:51:38

        Урок знакомит с базовыми конструкциями Scala — статической типизацией, val и var, функциями, коллекциями, кейс-классами, паттерн-матчингом и типом Option; язык рассматривается как основной для Spark. Окружение разворачивается через Almond — Scala-ядро для Jupyter под Docker. В библиотеке Breeze, аналоге NumPy, разбираются векторы, матрицы и матричные операции, а линейная регрессия строится готовыми методами наименьших квадратов и лассо.

    • Зачем нужны объектные хранилища и как устроен HDFS: неймнода, блоки, репликация, high availability, Federation. Практика — работа с файловой системой из командной строки.

      • Распределённые хранилища: устройство HDFS1:46:42

        Занятие о распределённом хранении данных: зачем нужно объектное хранилище и как устроен HDFS — неймнода, блоки, репликация, high availability, Federation. Разбираются сервис координации ZooKeeper, принцип data locality, работа с файловой системой из командной строки и локальный Docker-стенд.

    • Обзор от инженера данных: разница data-intensive и compute-intensive задач, эволюция хранилищ от DWH до Data Lake и Data Mesh, модели данных. Принципы MPP — сегментация, партицирование, колоночное хранение — и демо на Dataproc и Redshift.

      • Эволюция параллельных алгоритмов и хранилищ1:57:03

        Обзор эволюции хранилищ от корпоративных DWH до Data Lake и Data Mesh: разница data-intensive и compute-intensive задач, модели данных, CAP-теорема. Объясняются принципы MPP — shared nothing, хэш-сегментация, партицирование, колоночное хранение — с демо на Dataproc и Redshift и разбором explain-планов Presto и Redshift.

    • Менеджеры ресурсов для Spark — Standalone, Mesos, YARN и Kubernetes: их устройство, режимы запуска заданий и планировщики. Подбор конфигурации кластера под нагрузки ETL и машинного обучения.

      • Менеджеры ресурсов и деплой Spark2:04:49

        Урок разбирает менеджеры ресурсов для Spark — Standalone, Mesos, YARN и Kubernetes: их устройство, режимы запуска заданий и планировщики, включая Capacity Scheduler и Fair Scheduler в YARN. Показаны вертикальное и горизонтальное масштабирование, локальность данных, высокая доступность мастера и подбор конфигурации кластера — соотношения памяти и ядер — под нагрузку ETL и обучения моделей. Отдельно разбираются клиентский и кластерный режимы запуска заданий и работа из ноутбуков через связку Jupyter, SparkMagic и Livy.

    • Чем Spark сменил MapReduce, как устроено приложение из драйвера и исполнителей и чем различаются RDD, DataFrame и Dataset. Демонстрация ведётся в ноутбуке на Scala.

      • Архитектура и API Apache Spark2:49:57

        Урок вводит в Apache Spark: место фреймворка между распределённым хранилищем и менеджерами ресурсов, устройство приложения из драйвера и исполнителей, описание вычислений направленным графом с этапами и перемешиваниями. Разбираются ленивые трансформации и действия, три API — RDD, DataFrame и Dataset — и правила оптимизации: минимизировать перемешивание и не гонять данные через драйвер. Демонстрация ведётся в ноутбуке на Scala; дополнительно показаны broadcast-соединение, разбор планов в Spark UI и сборка проекта с fat-jar через IntelliJ IDEA и SBT.

    • Ограничения AdaBoost и градиентного бустинга, возможности XGBoost и LightGBM, полная параллелизация k-средних и её реализация на MapReduce. Это задаёт критерий: где кластер окупается, а где нет.

      • Параллелизация ML: бустинг и кластеризация1:53:02

        Урок разбирает, какие алгоритмы машинного обучения поддаются распараллеливанию: ограничения AdaBoost, частичное распараллеливание градиентного бустинга с выбором сплитов и мини-батчей, отличия XGBoost и LightGBM. На примере кластеризации k-средних показана полная параллелизация алгоритма и её реализация в парадигме MapReduce — центроиды в distributed cache, локальная агрегация комбайнерами и пересчёт центров редюсерами. Затронуты и практические рамки: Python-обёртки над нативными библиотеками захватывают все процессоры узла, а на кластере бустинг выигрывает не всегда.

    • Когда машинное обучение стоит переносить на распределённый кластер и где искать параллелизм: данные, модель и независимые задачи. Как на кластере работают градиентный спуск, факторизация матриц, деревья и ансамбли.

      • Источники параллелизма в ML-алгоритмах1:40:41

        Урок объясняет, когда переход на распределённое обучение оправдан, и показывает поиск источников параллелизма на трёх уровнях: данные, модель и независимые задачи. Разбирается, как на кластере работают градиентный спуск с мини-батчами и TreeReduce, параметр-сервер с планировщиком Gang Scheduler, факторизация матриц методом ALS, тематическая модель LDA, деревья решений и ансамбли. Отмечены и границы: для обучения нейросетей нужны GPU-суперкомпьютеры с быстрыми каналами между узлами, зато инференс без коммуникаций масштабируется линейно.

    • Библиотека SparkML: история, два API и набор алгоритмов. Практика на AWS — рекомендации методом ALS на MovieLens с подбором гиперпараметров и кластеризация k-means; модель деплоится через SageMaker.

      • SparkML2:06:45

        Занятие знакомит с библиотекой SparkML (MLlib): её историей, двумя API — устаревающим spark.mllib поверх RDD и современным spark.ml для датафреймов — и набором алгоритмов от регрессий и деревьев до кластеризации k-means и рекомендательной ALS. Разбираются пути построения рекомендаций — коллаборативная фильтрация, факторизация матриц и сведение задачи к регрессии, — обучение ALS с кросс-валидацией и подбором гиперпараметров на датасете MovieLens, а также кластеризация k-means с подбором числа кластеров по силуэт-оценке. Практика на AWS: кластер EMR с Zeppelin и данными из S3, обучение ALS с выдачей персональных рекомендаций и деплой KMeans-модели на MNIST через SageMaker Spark в виде endpoint.

    • Архитектура SparkML — трансформеры, эстиматоры, пайплайны, метаданные — и сквозной пример разработки собственного блока рекомендаций. Тест создаётся раньше кода: эталоном служит чистая математика Breeze, распределённая реализация сверяется с ней; модель сохраняется, библиотека собирается.

      • Разработка кастомных блоков SparkML2:03:45

        Урок разбирает архитектуру SparkML — трансформеры, эстиматоры, пайплайны, метаданные полей датафрейма, трейт Params и transformSchema — и математическую библиотеку Breeze для Scala с её векторами, матрицами и оптимизаторами. На сквозном примере коллаборативной фильтрации item-item по косинусной похожести показывается разработка собственного блока: сначала пишутся тесты с эталонной реализацией на Breeze, затем строится распределённая реализация эстиматора и модели с копированием, сохранением и чтением через MLWritable и MLReadable. В конце — сборка проекта SBT в IntelliJ IDEA и подключение джарника к Spark через spark-submit.

    • Градиентный бустинг в SparkML и сторонние библиотеки: XGBoost4J с GPU-ускорением через Rapids AI и распределённый Keras на Spark под названием Elephas. Плюс обзор SageMaker Spark.

      • XGBoost, Elephas и SageMaker Spark1:42:05

        Урок разбирает ансамбли на деревьях решений — случайный лес с бэггингом на бутстреп-подвыборках и градиентный бустинг, где деревья обучаются последовательно, — а также отличие XGBoost, учитывающего вторые производные функции потерь. Практика включает пайплайны PySpark с VectorAssembler и VectorIndexer и подбором гиперпараметров кросс-валидацией, мультиклассовую классификацию на XGBoost 4J, GPU-ускорение бустинга через Rapids AI и распределённое обучение Keras-сети на MNIST через Elephas с мастер-узлом и worker-узлами. Отдельно рассматривается SageMaker Spark, связывающий кластер EMR с ноутбуками через Livy, где алгоритм оформляется Docker-образом с REST-эндпоинтом предсказаний.

    • Обзор опенсорсной библиотеки Правда ML, расширяющей SparkML: ninja-этапы для обучения, Model Transformer, быстрая параллельная кросс-валидация. Подбор гиперпараметров — случайным и байесовским поиском.

      • Правда ML и подбор гиперпараметров1:38:42

        Разбор открытой библиотеки Правда ML, расширяющей SparkML: ExtractorColumn и AutoAssembler для сборки признаков, Model Summary с весами и именами атрибутов, ninja-этапы для кэширования на обучении и Model Transformer для объединения моделей. Показана параллельная кросс-валидация с метриками и материалом кривых по фолдам, а также подбор гиперпараметров случайным поиском на последовательностях Соболя и байесовской оптимизацией на гауссовском процессе. Отдельно — поиск по группам гиперпараметров и возобновление запусков после сбоя с промежуточных результатов.

    • Отличия батчей и стримов и устройство Kafka: продюсеры, партиции, оффсеты, consumer-группы. Лямбда и капа архитектуры, микробатч против true streaming и проблема event time.

      • Введение в потоковую обработку и Kafka1:28:56

        Вводное занятие о потоковой обработке: сравнение батч- и стрим-обработки по скорости получения результата, профилю нагрузки и репроцессингу, а также сценарии стрима в ML — рекомендации при холодном старте, маркетинговые триггеры и контроль датчиков оборудования. Разбирается устройство Kafka — журнал, брокеры, топики и партиции, оффсеты и consumer-группы, роль ZooKeeper и формат сообщений на Avro. В финале — лямбда и капа архитектуры, различие микробатча и истинного стриминга, а также processing time и event time с водяными знаками.

    • База Spark Streaming: гарантии доставки, источники и синки, чекпоинтинг и водяные знаки. Интеграция обученных ML-пайплайнов с Kafka и диагностика стриминг-приложений.

      • Основы Spark Streaming и Kafka1:52:45

        База Spark Streaming: гарантии доставки at-most-once, at-least-once и exactly-once, режимы Structured Streaming и DStream, источники и синки, чекпоинтинг через write-ahead log и водяные знаки для опоздавших событий. Показано, как обученные в Spark ML пайплайне модели сериализуются и подключаются к потоку Kafka через Direct-подход для скоринга. Также — триггеры, режим Continuous Processing, метрики стриминга в UI и диагностика приложения по GC-логам и flame-графам.

    • Сопоставление микробатча и непрерывного стриминга: ограничения D-Stream, устройство Structured Streaming и continuous processing. Демо — обнаружение аномалий в IoT-потоке на онлайн-обучаемой сети HTM.

      • Микробатч и непрерывный стриминг2:05:02

        Урок сопоставляет микробатч и непрерывный стриминг: ограничения D-Stream с RDD и окнами, устройство Structured Streaming как неограниченной таблицы с Dataset и DataFrame и режим continuous processing с долгоживущими задачами и фиксацией эпох в write-ahead log. В практической части — детекция аномалий в IoT-потоке с датчиков озона на онлайн-обучаемой сети Hierarchical Temporal Memory: SDR-кодирование, Spatial и Temporal Pooler, закрепление партиций Kafka за сетями. Демо разворачивается на ZooKeeper, Kafka и Zeppelin, где по мере онлайн-обучения визуализация ловит пики озона; каркас примеров предлагается разобрать локально по readme.

    • Принципиальная разница true streaming и микробатчевых фреймворков. Разбор Spark, Storm, Flink, Kafka Streams и NiFi и критерии выбора движка под тип задачи.

      • True streaming против микробатча1:43:16

        Урок объясняет принципиальную разницу между true streaming и микробатчевыми фреймворками и разбирает Spark, Storm, Flink, Kafka Streams и NiFi: поведение backpressure, поколения фреймворков от ручного описания нод графа до декларативности и критерии выбора движка под задачу — агрегаты на большом потоке, реакция на аномалии, стриминговый микросервис или перекладывание данных между хранилищами. Отдельное внимание уделено Flink: слои API, операторы keyBy, union и connect, типы окон включая сессионные, агрегатные функции, window и interval join, асинхронные запросы. В практической части поток просмотров страниц собирается в сессии с расчётом длительности и среднего времени на странице, а паттерн обогащения через RichCoFlatMapFunction мержит сессии с потоком обновлений профилей; разобранный код Flink выложен в репозитории.

    • Управленческое занятие: постановка целей по SMART, проверка, нужен ли ML, стоимость и обвязка ML в проде, состав команды. Дальше — метрики, риски и обзор сред для аналитики в Big Data стеке.

      • Цели ML-проекта по SMART1:59:23

        Управленческое занятие о постановке цели ML-проекта по SMART: различение задачи и цели, проверка, решается ли задача ML вообще, стоимость обвязки вокруг модели — сбор данных, тестирование, сервинг и мониторинг — и привязка проекта к деньгам через цепочку метрик от KPI и бизнес-показателей до продуктовых и офлайн-ML-метрик с проверкой АБ-тестом. Разбираются состав ML-команды по ролям, сложности вписывания ML-проектов в Scrum и Waterfall, тяжесть поддержки моделей в онлайне с дрейфом фичей, типовые провалы и закон Гудхарта, а также совет Google начинать с эвристик и первой модели не более чем с трёх признаков. В демо сравниваются среды для аналитики в big data стеке: Zeppelin, плагин Big Data Tools в IntelliJ IDEA и Polynote.

    • Долгосрочные ML-цели на задаче удержания пользователей: ловушки корреляций и когнитивных искажений, этапы анализа оттока, uplift-категории отклика. Интерпретация моделей — для бизнес-решений.

      • Долгосрочные ML-цели и анализ оттока1:49:03

        Урок связывает долгосрочные ML-цели с задачей удержания пользователей: корреляция против причинности и обратная причинность на примере признака «количество друзей», парадокс Симпсона на двух рекомендательных алгоритмах и вред ковровых рассылок, которые поднимают квартальные показатели, но в долгосроке ведут к отпискам. Разбираются uplift-моделирование с четырьмя категориями отклика на оповещение, этапы анализа оттока — разбиение на когорты, поиск причин ухода, прогноз вероятности ухода и выбор действия по сегментам, — метрики retention rate и отток, сегментация по LTV и признаки из динамики сессий, устройств и жалоб. В конце — кейс с завышенным ROC AUC из-за «мёртвых» клиентов и способы интерпретации моделей: коэффициенты линейных моделей, важность признаков у лесов и бустингов, LIME, SHAP и Grad-CAM для сложных моделей.

    • АБ-тестирование с продуктовой стороны: мотивация и дизайн эксперимента, чек-лист запуска, анализ с доверительными интервалами. Поправки на множественные сравнения и гетерогенный эффект.

      • АБ-тестирование: дизайн, запуск и анализ1:38:19

        Урок разбирает АБ-тестирование с продуктовой стороны: ценность дешёвого экспериментирования на кейсах Microsoft и Google, деление метрик на бизнес-показатели и технические, классический дизайн с контрольной и тестовыми группами, проверка инструментов измерения АА-экспериментом и разбиение пользователей хэшированием с солью. Приводится чек-лист запуска: фиксация гипотезы с ожидаемым приростом метрик до старта, предупреждение смежных команд, поэтапное включение с мониторингами и запрет править параметры эксперимента на ходу. Анализ результата покрывает p-value и статистическую мощность, t-тест Уэлча с оценкой величины эффекта в доверительных интервалах, поправки на множественные сравнения — Бонферрони, Холма и Бенджамини—Хохберга — и гетерогенный эффект подгрупп.

    • Расчёт выборки и t-тест на модельном датасете, бандитские алгоритмы — эпсилон-жадный и сэмплирование Томпсона. Приёмы АБ-тестирования в продакшене и этапы построения собственной платформы.

      • Практика АБ-тестирования и многорукие бандиты2:11:31

        Практическое занятие: на датасете с лендингами рассчитывается размер выборки и запускается t-тест, разбираются бандитские алгоритмы — эпсилон-жадный и сэмплирование Томпсона. Отдельно рассматриваются приёмы АБ-тестирования в продакшене — бакетизация, shadowing, ограждающие метрики — и этапы построения собственной платформы тестирования.

    • Пакетный, синхронный и асинхронный паттерны инференса и границы их применимости. Подробно разбирается пакетный сценарий — от ограничений cron до оркестраторов Oozie и Airflow.

      • Паттерны вывода ML-моделей в продакшн1:46:20

        Разбираются пакетный, синхронный и асинхронный паттерны инференса и границы их применимости; подробно изучается пакетный сценарий. Показан путь от cron с его ограничениями к оркестраторам Oozie и Airflow: DAG, операторы, сенсоры, экзекьюторы и доставка дагов через CI/CD.

    • Паттерны train then serve и train to serve, чек-лист воспроизводимости без специальных инструментов. Обзор MLflow и DVC с демонстрацией.

      • Воспроизводимость обучения моделей: MLflow и DVC2:01:41

        Разбираются паттерны train then serve и train to serve, чек-лист воспроизводимости и минимальное решение без специальных инструментов. Далее обзор MLflow с его Tracking и Model Registry и DVC, который версонирует данные и пайплайны, — с демонстрацией работы инструментов.

    • Два способа упаковки модели — образ с зашитой моделью или загрузка из хранилища, универсальные форматы сериализации. Фичер-стор для консистентных фичей и постепенный раскат с мониторингом.

      • Онлайн-инференс: доставка моделей, фичер-стор, мониторинг2:00:36

        Онлайн-вычисление моделей: два способа упаковки — образ с зашитой моделью или загрузка из хранилища — и универсальные форматы сериализации вроде PMML, ONNX и MLeap. Разбираются фичер-стор как единая реализация фичей для обучения и инференса, мониторинг ML-сервиса и постепенный раскат через канареечные релизы и Blue-Green.

    • Повторение устройства Kafka: топики, партиции, сериализация, схема-регистри. Разбор потокового ETL и промышленного фичер-стора под высокой нагрузкой, затем практика с топиками, консюмерами и Kafka Streams.

      • Потоковый ETL, Kafka и фичер-сторы под нагрузкой2:02:32

        Разбирается устройство Kafka: топики, партиции, репликация, сериализация и схема-регистри с форматом Avro. Сравниваются классический ночной ETL и перенос части выгрузок в поток, а также работа фичер-сторов под высокой нагрузкой на примере стриминговой системы доставки фичей. В практике Kafka поднимается локально, создаются топики, а чтение и запись сообщений проверяются из консоли, Python и Scala-приложения на Kafka Streams.

    • Когда Python нужен рядом с JVM-инфраструктурой: варианты ускорения интерпретатора, сценарии выноса задач из кластера. Практика — сборка PySpark-пайплайна на Dagster.

      • Python рядом с JVM-кластером2:05:45

        Разбирается, когда Python оправдан рядом с JVM-инфраструктурой: альтернативные интерпретаторы и диалекты языка (PyPy, Jython, Cython, GraalVM) и сценарии выноса задач из Spark-кластера — обучение нейросетей на GPU-машинах, инференс тяжёлых моделей, поиск похожих векторов и задачи с жёстким дедлайном. Отдельно рассматриваются связывание кластерных и внешних джоб по данным, организация логов, мониторинга и конфигурирования. В практике мини-кластер Spark поднимается в Docker, а PySpark-задача оформляется функциями-солидами Dagster.

    • Dask для распределённых вычислений с привычным интерфейсом NumPy и Pandas, устройство Kubernetes. Демонстрации деплоя моделей через Seldon Core и Kubeflow.

      • Dask, Kubernetes и деплой моделей1:49:07

        Обзор Dask, повторяющего интерфейсы NumPy, Pandas и scikit-learn для данных, которые не помещаются в память одной машины, и устройства Kubernetes: поды, ReplicaSet, Deployment, пробы готовности и живости, декларативные YAML-манифесты. В демо кластер разворачивается в облаке, модель ирисов деплоится через Seldon Core, а Kubeflow и MLflow показаны как инструменты пайплайнов, трекинга и сервинга моделей.

    • Принципы production-кода на Python: читаемость, модульность, тесты, документация. Разбор модульной структуры регрессионного проекта с конфигом, sklearn-пайплайном и packaging.

      • Модульный Python-проект для продакшена1:33:34

        Занятие открывает тему вывода моделей в продакшен: свойства production-кода — читаемость, модульность, тесты, обработка исключений, документация и переиспользование — и путь от исследовательского ноутбука к модульному проекту. На примере регрессионного проекта показаны структура из модулей и конфига, сборка пакета и публикация на PyPI или закрытом репозитории для внутренних библиотек, обучение через sklearn Pipeline с кастомными трансформерами.

    • Как ML-модель становится доступной клиентам: Flask-обвязка над model.predict, связка веб-сервера и WSGI-шлюза, место CI/CD в выпуске версий. Первый Docker-контейнер с сервисом.

      • Модель за REST API на Flask1:17:04

        Урок разбирает, как обученная ML-модель становится доступна клиентам через REST API: Flask-обвязка над методом predict, запросы GET и POST с вектором признаков и ответы в JSON. Показана схема сервиса — веб-сервер Nginx, WSGI-шлюз Gunicorn и Flask-приложение с моделью, упакованные в Docker-контейнер, — а также место CI/CD в выпуске версий. На примере логистической регрессии модель сохраняется в pickle, подгружается при старте, а предсказания тестируются через Postman.

    • Путь Docker-образа с ML-моделью от локальной сборки до деплоя: структура контейнера, публикация в ECR через AWS CLI, деплой на виртуальный сервер и в SageMaker. Тренировка модели запускается из ноутбука.

      • Деплой модели в Docker-образе1:30:10

        Урок показывает путь Docker-образа с ML-моделью от локальной сборки до деплоя: проект из скрипта тренировки, Flask-приложения, Dockerfile и requirements.txt переносится на виртуальный сервер вроде EC2-инстанса, где docker run поднимает сервис. Разбирается контейнер под SageMaker с эндпоинтами ping и invocations, публикация образа в репозиторий ECR через AWS CLI и тренировка модели из ноутбука с данными в S3.

    • Архитектура Docker и слои образа, изоляция через namespaces, анализ трафика tcpdump. Управление несколькими контейнерами в Compose и деплой готового образа на EC2.

      • Docker изнутри: tcpdump и Compose1:28:34

        Урок углубляет работу с Docker: архитектура платформы с демоном и реестром образов, послойная сборка образа через Union File System и изоляция процессов через namespaces. Разбираются утилита tcpdump для перехвата и анализа сетевого трафика внутри контейнера и Docker Compose для управления несколькими связанными сервисами, например ML-моделью и базой данных. В практической части готовый образ публикуется и запускается на EC2-инстансе.

    • Два пути вывода модели в продакшн: на AWS модель открывается наружу через связку API Gateway и Lambda. На Heroku тот же сервис деплоится из Git без настройки инфраструктуры.

      • Развёртывание модели: AWS и Heroku1:20:03

        Урок показывает два пути вывода модели в продакшн. На AWS модель SageMaker открывается наружу через связку Amazon API Gateway и AWS Lambda: лямбда принимает событие, при необходимости препроцессит данные и вызовом invoke_endpoint обращается к эндпоинту. На Heroku тот же сервис на Flask с Gunicorn деплоится из Git через buildpack, requirements.txt и Procfile — без ручной настройки инфраструктуры.

    • Обзорная лекция об Apache MXNet: экосистема Gluon, нативная поддержка распределённого обучения через Horovod, туториал Dive into Deep Learning. Варианты развёртывания — EC2, SageMaker и Lambda.

      • Фреймворк Apache MXNet1:13:30

        Обзор фреймворка Apache MXNet и его экосистемы Gluon: Gluon CV закрывает компьютерное зрение, Gluon NLP — работу с текстами, GluonTS — вероятностное прогнозирование временных рядов. Разбирается нативная поддержка распределённого обучения через Horovod, туториал Dive into Deep Learning и варианты развёртывания модели на EC2, в SageMaker и Lambda.

    • Парадигма MapReduce, операции AllReduce и AllGather, примеры запуска с Keras, MXNet и Spark. Плюс обзор Ray и Modin как инструментов параллелизации.

      • Распределённое обучение сетей с Horovod1:27:59

        Лекция о распределённом обучении нейросетей с Horovod: парадигма MapReduce, операции AllReduce и AllGather, понятия rank и local rank. Разбираются примеры запуска обучения с Keras, MXNet и Spark, а также Ray и Modin как инструменты параллелизации Python-кода.

    • Сравнение Azure ML и SageMaker, библиотека MMLSpark с LightGBM и Vowpal Wabbit, распределённый XGBoost4J. Отдельно — отличие бустинга от бэггинга.

      • Градиентный бустинг в облаке и Spark1:33:56

        Обзор реализаций градиентного бустинга в облаке и на Spark: сравнение платформ Azure Machine Learning и Amazon SageMaker — интерфейс, деплой моделей, подбор гиперпараметров и логинг. Разбираются библиотека MMLSpark с LightGBM и Vowpal Wabbit, распределённый XGBoost4J и отличие бустинга от бэггинга.

Частые вопросы

Здесь собраны ответы почти на все вопросы, которые задают перед покупкой. Нажмите на вопрос, чтобы раскрыть ответ.

Об этом курсе

  • База ML предполагается: вводное занятие её повторяет — типы задач, линейные модели, градиентный спуск, метрики и переобучение, — а не преподаёт с нуля. Python тоже разбирается как стек с готовыми сценариями применения под продакшн-задачи, а не как язык.

  • Нет, Scala даётся с нуля: базовые конструкции языка, окружение Almond под Docker, матричные вычисления на Breeze. Первая домашняя работа — собственная реализация линейной регрессии на Scala.

  • Основная облачная практика идёт на AWS: кластер EMR с Zeppelin, данные в S3, обучение рекомендаций и деплой модели в SageMaker, публикация Docker-образов в ECR. Локальные Docker-стенды позволяют повторять практику без облака: HDFS из docker-compose, локальные Kafka и Spark, Jupyter со Scala одной командой.

  • Полный пайплайн от автоматической подготовки данных до обучения модели и инференса в проде. Его можно сделать на обезличенном датасете рекомендательной тематики либо на собственной задаче. Домашняя работа предусмотрена после каждого модуля.

  • Рабочее определение больших данных из вводного занятия: задача требует распределённых вычислений. Переход на кластер оправдан, когда объёмы данных и бюджет переросли централизованный подход — курс разбирает и эти границы: где бустинг не выигрывает и какие задачи стоит выносить из кластера в отдельные сервисы.

  • Apache Spark (PySpark, Streaming, Structured Streaming), Kafka, HDFS, Kubernetes, Airflow, MLflow, DVC, Docker, Horovod, XGBoost, Dask, Seldon Core и Kubeflow. Из облаков — AWS (EC2, EMR, S3, SageMaker, Lambda, API Gateway), Azure Machine Learning, Google Cloud Dataproc и Heroku.

Доступ и материалы

  • Сразу после оплаты, в ту же секунду и автоматически. Ждать подтверждения не нужно. Доступ приходит двумя путями сразу. Первый: на почту, указанную при оформлении заказа, приходит письмо со ссылкой на материалы. Второй: та же ссылка появляется в вашем аккаунте на сайте, в разделе «Загрузки», и остаётся там постоянно.

  • Все видео и дополнительные файлы лежат в облачном хранилище. Ссылка на него — в вашем аккаунте на сайте, раздел «Загрузки», и в письме, которое пришло после оплаты. Аккаунт здесь — не формальность, а способ доставки: курс остаётся в нём навсегда. Даже если письмо потерялось или вы вспомнили о покупке через год, ссылка будет на месте.

  • Скачивать можно и нужно. Мы рекомендуем сохранить видео на компьютер и смотреть оттуда. Причина простая: облачное хранилище не рассчитано на просмотр видео. Иногда оно позволяет включить ролик прямо в браузере, но качество при этом заметно хуже исходного. На своём компьютере вы увидите курс таким, каким его записывали.

  • Бессрочно. Курс остаётся вашим навсегда, возвращаться к нему можно сколько угодно раз. Если через год или два ссылка вдруг перестанет открываться по техническим причинам — напишите на info@siluette.com.ua, мы её восстановим.

  • Прежде всего: доступ у вас есть в любом случае. Войдите на сайт и откройте раздел «Загрузки» — ссылка на курс уже там, независимо от того, дошло письмо или нет. Чаще всего письмо теряется из-за опечатки в адресе при оформлении заказа. Ещё стоит заглянуть в папку «Спам». Не разбирается — не тратьте время: напишите на info@siluette.com.ua или в чат в правом нижнем углу сайта, мы поможем.

  • Лучше всего на компьютере или ноутбуке: скачайте видео и откройте любым привычным плеером. Понадобятся установленные видеокодеки — на большинстве компьютеров они уже есть. Скачать курс можно на сколько угодно устройств. А вот телефон мы не советуем, и по двум причинам. На маленьком экране плохо видно детали, особенно если в уроке показывают интерфейс программы. И на телефонах часто нет кодеков для форматов, в которых записаны видео.

Оплата и возврат

  • Банковской картой Visa, MasterCard или Prostir, через Google Pay, Apple Pay, Masterpass, Visa Checkout, платёжный QR-код, Botpay в Telegram или Privat24. Есть и оплата частями: Монобанк (3 или 4 платежа), А-Банк (2, 3 или 4 платежа и рассрочка), Банк Глобус (8 платежей), «Скибочка» от OTP Bank (3 платежа), мгновенная рассрочка и оплата частями от ПриватБанка.

  • Да. Платёжная система принимает карты из Евросоюза и любых других стран. Одна деталь, о которой часто забывают: банк может попросить подтвердить платёж — в мобильном приложении или кодом из СМС. Если оплата не проходит, проверьте приложение банка и сообщения.

  • Добавьте в корзину два курса или больше — скидка применится автоматически ко всем товарам в корзине. Два курса: минус 20% на оба. Пять курсов: минус 20% на все пять. Скидка сочетается с любыми акционными ценами и действует на весь каталог без исключений.

  • Цифровые товары возврату и обмену не подлежат. Это общее правило для всех электронных товаров в Украине — постановление Кабинета Министров № 172 от 19 марта 1994 года. При этом мы всегда на связи. Если доступ не открывается, ссылка перестала работать или файлы повреждены — напишите на info@siluette.com.ua, укажите дату и номер заказа. Восстановим. Если что-то непонятно в самом курсе, тоже пишите — подскажем.

  • Пока нет. Мы работаем только с частными покупателями — безналичной оплаты по счёту от юридических лиц сейчас нет.

Как проходит обучение

  • Нет. Все курсы — это записи уроков для самостоятельного изучения: преподаватель не отвечает на вопросы и не проверяет домашние задания. Именно поэтому курсы стоят намного дешевле обучения с куратором. Вы получаете тот же материал, но занимаетесь сами и в своём темпе.

  • Да, цифровой сертификат — по запросу и бесплатно. Напишите на info@siluette.com.ua, укажите имя и фамилию ровно в том виде, в каком хотите видеть их в сертификате, и мы пришлём его в течение суток.

  • Для большинства курсов — нет. Они рассчитаны на начальный уровень и объясняют с азов. Если курс требует подготовки, это сказано в его описании.

  • Нет. Ни дедлайнов, ни расписания, ни сгорающего доступа. Скачали — смотрите когда удобно, с любыми перерывами.

  • Курс покупается для личного использования, и мы просим относиться к этому по-человечески: за каждым уроком стоит работа, а цена и так сильно снижена.

Поддержка

  • Лучше всего на info@siluette.com.ua. Есть и чат в правом нижнем углу сайта, но почта надёжнее: там можно всё описать подробно и приложить скриншоты. Просьба: опишите, что именно вы делали и что пошло не так, и приложите снимок экрана с ошибкой. Так мы решим вопрос сразу, а не будем полдня выяснять, что произошло.

  • В рабочее время, с 9:00 до 19:00, на почту обычно отвечаем в течение часа, в чате — за пару минут. После 19:00 тоже случается, но время ответа не обещаем.

Отзывы покупателей

  1. Олег

    17.06.2025 Подтвержденный клиент

    SparkML - это мощная штука. Курс помог разобраться, как переносить алгоритмы в распределенную среду. Очень много технических деталей.

  2. Анастасия

    02.03.2024 Подтвержденный клиент

    Вывод в продакшн - это самая ценная часть. Мониторинг, версионирование, онлайн-сервинг - все разложили по полочкам.

  3. Максим

    11.02.2024 Подтвержденный клиент

    Очень серьезный и глубокий курс. Я Data Engineer, и мне было важно понять, как применять ML на больших данных. Курс дал полную картину.

Показано 3 из 3

Оставить отзыв