Managed Service for Apache Spark
Облачный сервис Google Cloud для запуска задач Apache Spark: бессерверно или на управляемых кластерах.
- Можно попробовать бесплатно
- Да
- Без регистрации
- Нет
- Русский интерфейс
- Нет
- Работает с русским языком
- Нет
- Разработчик
- Страна
- США
Managed Service for Apache Spark, прежде известный как Dataproc, — сервис Google Cloud для обработки больших данных на Apache Spark без ручного администрирования инфраструктуры. Задачи можно запускать в бессерверном режиме, где оплачивается только время выполнения, или на управляемых кластерах, где доступна тонкая настройка и открытые инструменты вроде Hadoop, Flink и Trino. Движок Lightning Engine ускоряет типовые задачи ETL и SQL без изменения кода, а Gemini помогает писать PySpark-код и разбирать сбои заданий. Сервис работает с BigQuery, Google Cloud Storage и форматом Apache Iceberg, поэтому подходит для построения открытого хранилища данных.
Возможности
Бессерверный режим
Задачи Spark запускаются как сервис без управления кластерами, оплата идёт по времени выполнения, простой не тарифицируется.
Управляемые кластеры
Постоянные кластеры для переноса существующих рабочих нагрузок Spark и открытых инструментов с глубокой настройкой.
Lightning Engine
Нативный векторизованный движок ускоряет ETL и SQL-запросы без правки кода, плюс автоматическая настройка памяти.
Помощь Gemini
Ассистент пишет код на PySpark, работает в расширении для VSCode и разбирает причины сбоев заданий.
Открытое хранилище данных
Обработка форматов вроде Apache Iceberg напрямую из облачного хранилища и интеграция с BigQuery и каталогом данных.
Задачи машинного обучения
Поддержка GPU, готовые среды для PyTorch и XGBoost, связь с реестром моделей платформы Gemini.
Безопасность
Управление доступом через IAM, VPC Service Controls и Kerberos.
Кому подойдёт
- Разработчики
Запускают и отлаживают задачи Spark на PySpark, Scala и SQL, не занимаясь инфраструктурой.
- Аналитики
Обрабатывают большие наборы данных вместе с BigQuery и ноутбуками, объединяя SQL и Spark.
- Исследователи и учёные
Готовят данные и обучают модели на GPU в интерактивной среде.
- Предприниматели и руководители
Переносят существующие нагрузки Hadoop и Spark в облако и контролируют расходы.
Как начать
- Создайте проект Google Cloud и включите оплату; новым клиентам доступен стартовый кредит.
- Выберите режим: бессерверный для новых конвейеров или кластеры для переноса существующих нагрузок.
- Отправьте пакетное задание Spark через консоль, командную строку или API.
- Подключите BigQuery или Cloud Storage как источник данных и настройте расписание с шаблонами рабочих процессов.
Тарифы
Новым клиентам Google Cloud доступен кредит $300. Возможны Spot-машины и масштабирование до нуля.
Ограничения
- Требуется проект Google Cloud с подключённой оплатой.
- Стоимость зависит от режима, объёма вычислений и региона, поэтому её нужно оценивать калькулятором.
- Режимы с кластерами требуют знаний об инфраструктуре и настройке открытых инструментов.
Платформы и интеграции
Семейство
Соседи по смыслу
за последний месяц