Dataflow
Полностью управляемый сервис Google Cloud для потоковой и пакетной обработки данных на основе Apache Beam.
- Можно попробовать бесплатно
- Да
- Без регистрации
- Нет
- Русский интерфейс
- Нет
- Работает с русским языком
- Нет
- Разработчик
- Страна
- США
Dataflow — сервис Google Cloud для построения конвейеров обработки данных. Он работает на открытом SDK Apache Beam и запускает один и тот же код как для потоков событий, так и для пакетных заданий. Платформа сама подбирает число рабочих машин, масштабируется до тысяч воркеров на задание и справляется с петабайтами данных. Типичные задачи: загрузка данных из Pub/Sub и Kafka в BigQuery, ETL в реальном времени, аналитика потоков, а также запуск ML-моделей и моделей Gemini и Gemma над потоком данных. Для быстрого старта есть готовые шаблоны и визуальный конструктор заданий без кода.
Возможности
Потоки и пакеты
Единая модель Apache Beam для потоковой и пакетной обработки, один код на оба режима.
Автомасштабирование
Число воркеров меняется по нагрузке, задание может расти до тысяч машин.
Готовые шаблоны
Шаблоны для загрузки из Pub/Sub, Kafka и CDC-потоков в BigQuery, Cloud Storage, Splunk и другие приёмники.
ML и генеративный ИИ
Вывод моделей над потоком данных, предобработка через MLTransform, поддержка GPU и моделей Gemini и Gemma.
Визуальный конструктор
Конструктор заданий в консоли Google Cloud позволяет собрать и запустить конвейер без кода.
Мониторинг и диагностика
Графы заданий, метрики, выявление отстающих стадий, выборка данных и рекомендации по оптимизации.
Безопасность
Ключи CMEK, VPC Service Controls, конфиденциальные ВМ, отключение публичных адресов и аудит действий.
Кому подойдёт
- Разработчики
Пишут конвейеры на Apache Beam и запускают их без управления кластером.
- Аналитики
Загружают потоки событий в BigQuery и получают свежие данные для отчётов.
- Исследователи и учёные
Прогоняют большие наборы данных и модели машинного обучения параллельно.
Как начать
- Открыть консоль Google Cloud и включить Dataflow API в проекте.
- Выбрать готовый шаблон или собрать задание в визуальном конструкторе.
- Либо написать конвейер на Apache Beam и запустить его с раннером Dataflow.
- Следить за заданием в интерфейсе мониторинга и настроить автомасштабирование.
Тарифы
Скидки за обязательства: 20% на год и 40% на три года. Режим FlexRS для пакетных заданий дешевле примерно на 40%.
Ограничения
- Нужен аккаунт Google Cloud с платёжными данными.
- Оплата зависит от ресурсов задания, стоимость заранее сложно предсказать.
- Для собственных конвейеров нужно знать Apache Beam.
- Работает только в инфраструктуре Google Cloud.
Платформы и интеграции
Семейство
Соседи по смыслу
за последний месяц