Managed Service for Apache Airflow
Полностью управляемый сервис Google Cloud для создания, запуска по расписанию и мониторинга конвейеров данных на Apache Airflow.
- Можно попробовать бесплатно
- Да
- Без регистрации
- Нет
- Русский интерфейс
- Нет
- Работает с русским языком
- Нет
- Разработчик
- Страна
- США
Managed Service for Apache Airflow — облачный оркестратор рабочих процессов от Google Cloud, прежде известный как Cloud Composer. Он построен на проекте Apache Airflow с открытым кодом: конвейеры описываются на Python в виде направленных ациклических графов (DAG), а Google берёт на себя развёртывание, масштабирование и обслуживание инфраструктуры.
Сервис подходит для регулярной обработки данных, ETL и ELT, запуска задач машинного обучения и автоматизации инфраструктуры. Рабочие процессы могут охватывать Google Cloud, другие облака и локальные системы. Поддерживается Apache Airflow 3: версионирование DAG, перезапуск исторических данных силами планировщика, обновлённый интерфейс на React. Оплата зависит от фактического потребления ресурсов.
Возможности
Оркестрация конвейеров
Рабочие процессы описываются на Python как графы DAG, запускаются по расписанию и автоматически синхронизируются с хранилищем.
Полностью управляемая среда
Развёртывание, масштабирование рабочих узлов и обслуживание инфраструктуры берёт на себя Google Cloud.
Связка с сервисами Google Cloud
Готовые операторы для BigQuery, Dataflow, Cloud Storage, Pub/Sub и других сервисов позволяют собрать сквозной конвейер.
Гибридные и мультиоблачные сценарии
Один оркестратор управляет процессами в Google Cloud, у других облачных провайдеров и в локальных центрах обработки данных.
Сетевая безопасность
При создании среды доступны частный IP, общая сеть VPC, периметры VPC Service Controls и шифрование ключами CMEK.
Мониторинг и диагностика
Графические представления запусков и диаграммы помогают найти причину сбоя в конвейере.
Новые возможности Airflow 3
Версионирование DAG, откат обновлений среды, интерфейс на React и раздельные утилиты командной строки.
Кому подойдёт
- Разработчики
Пишут конвейеры на привычном Python и запускают их без администрирования кластера.
- Аналитики
Автоматизируют выгрузки данных, подготовку отчётов и обновление дашбордов по расписанию.
- Менеджеры проектов и продуктов
Получают наглядную картину выполнения регулярных процессов обработки данных.
Как начать
- Создайте проект в Google Cloud и включите оплату; новым клиентам доступны пробные кредиты.
- Создайте среду Managed Service for Apache Airflow в консоли Google Cloud, выбрав регион и размер.
- Напишите DAG на Python и загрузите файл в хранилище, привязанное к среде.
- Откройте интерфейс Airflow, запустите процесс и следите за выполнением задач.
Тарифы
Тарификация идёт за фактическое время работы среды; цена указана для региона Айова (us-central1).
Ограничения
- Платный сервис с оплатой по потреблению: стоимость зависит от размера среды, хранилища и сетевого трафика.
- Требуется аккаунт Google Cloud с привязанным платёжным способом.
- Конвейеры нужно писать на Python.
- Часть сопутствующих ресурсов, например мониторинг и шифрование ключами, тарифицируется отдельно.
Платформы и интеграции
Семейство
Соседи по смыслу
за последний месяц