Google Cloud Lakehouse
Платформа Google Cloud для открытого озера данных на формате Apache Iceberg с единым каталогом, управлением доступом и доступом к данным из других облаков.
- Можно попробовать бесплатно
- Да
- Без регистрации
- Нет
- Русский интерфейс
- Нет
- Работает с русским языком
- Нет
- Разработчик
- Страна
- США
Google Cloud Lakehouse, прежде известный как BigLake, помогает строить открытые озёра данных на Google Cloud. Данные хранятся в Cloud Storage в формате Apache Iceberg, а вычисления отделены от хранилища. Единый каталог метаданных даёт BigQuery, Apache Spark, Flink, Trino и Hive общий доступ к одним и тем же таблицам без копирования. Сервис управляет сжатием файлов, разбиением и сборкой мусора, подключается к каталогам AWS Glue, Databricks Unity Catalog и Snowflake Horizon и позволяет запрашивать данные в других облаках, не перенося их. Платформа предназначена для аналитики и для ИИ-агентов, которым нужен управляемый доступ к корпоративным данным.
Возможности
Управляемый Apache Iceberg
Таблицы Iceberg читают и пишут BigQuery, Managed Service for Apache Spark и открытые движки: Spark, Trino, Flink.
Данные без границ облаков
Выделенное соединение и кеширование дают быстрый доступ к данным в AWS и Azure без их переноса.
Федерация каталогов
Каталог метаданных объединяет AWS Glue, Databricks Unity Catalog и Snowflake Horizon в одном месте.
Автоматическая оптимизация
Сжатие файлов, кластеризация, разбиение и очистка снапшотов выполняются без ручной настройки.
Единое управление доступом
Интеграция с Knowledge Catalog задаёт политики на уровне строк и столбцов, ведёт происхождение данных и проверки качества.
Контекст для ИИ-агентов
Агенты Gemini и разговорная аналитика работают с данными озера, включая оперативные данные из Spanner и AlloyDB.
Потоковая загрузка
Репликация изменений из операционных баз и потоковая запись попадают в таблицы Iceberg почти сразу.
Кому подойдёт
- Аналитики
Запросы к таблицам Iceberg на SQL в BigQuery, в том числе к данным из других облаков.
- Разработчики
Одни и те же таблицы доступны из Spark, Flink, Trino и через REST-каталог Iceberg.
- Предприниматели и руководители
Открытый формат снижает зависимость от одного поставщика и упрощает перенос данных.
- Исследователи и учёные
Мультимодальные и векторные данные доступны для обучения моделей и анализа в блокнотах.
Как начать
- Включить проект в Google Cloud и открыть консоль Lakehouse.
- Создать каталог и пространство имён, настроить доступ через IAM.
- Создать таблицу Iceberg в консоли или через командную строку gcloud.
- Подключить движок: BigQuery, Spark, Flink или Trino.
- При необходимости настроить федерацию с каталогами других облаков.
Тарифы
Оплата по использованию в составе Google Cloud; новым клиентам доступен бонус для пробы.
Ограничения
- Часть возможностей, например запись из BigQuery и автоматическое обслуживание таблиц, работает в режиме предварительного доступа.
- Названия API, библиотек и ролей IAM остаются прежними и содержат BigLake.
- Нужна учётная запись Google Cloud и платёжный профиль.
Платформы и интеграции
Семейство
Соседи по смыслу
за последний месяц