PaliGemma
Лёгкая открытая мультимодальная модель Google, которая отвечает на вопросы по изображениям, подписывает картинки и находит объекты.
- Русский интерфейс
- Нет
- Работает с русским языком
- Нет
- Разработчик
- Страна
- США
PaliGemma — семейство лёгких открытых моделей Google, которые принимают на вход изображение и текст. Основа — модель компьютерного зрения SigLIP и языковая модель Gemma. Модель описывает изображения и короткие видео, отвечает на вопросы о содержимом кадра, находит объекты и считывает текст, встроенный в картинку.
Модели выпускаются в нескольких размерах и поддерживают входные изображения разного разрешения: 224, 448 и 896 пикселей. Веса доступны для скачивания на Kaggle и Hugging Face, поэтому модель можно запускать у себя и дообучать под собственную задачу.
Возможности
Анализ изображений
Отвечает на вопросы о картинке с учётом деталей и контекста, подробно описывает содержимое кадра.
Чтение текста на картинке
Считывает надписи, встроенные в изображение, и использует их в ответе.
Поиск объектов
Находит и выделяет объекты на изображении по текстовому запросу.
Подписи к видео
Составляет подписи не только к изображениям, но и к коротким видеороликам.
Дообучение под задачу
Предобученные версии рассчитаны на тонкую настройку на собственных данных для разных задач зрения и языка.
Готовая смешанная версия
Вариант, настроенный на набор задач, пригоден для типовых сценариев и исследований без дополнительного обучения.
Кому подойдёт
- Разработчики
Получают открытые веса для встраивания в собственные приложения и для дообучения под узкие задачи.
- Исследователи и учёные
Используют версии, настроенные на исследовательских наборах данных, для экспериментов с моделями зрения и языка.
- Аналитики
Могут автоматизировать разбор больших массивов изображений, подписей и текста на снимках.
Как начать
- Скачать веса модели с Kaggle или Hugging Face.
- Открыть готовый ноутбук в Colab, чтобы проверить распознавание объектов и создание подписей.
- Запустить вывод через Keras или другую поддерживаемую библиотеку.
- Для своей задачи дообучить модель на собственных изображениях, например с помощью JAX и Flax.
Тарифы
Расходы — только на собственное оборудование или облако.
Ограничения
- Предобученные версии без дообучения дают бесполезные результаты: модель нужно настраивать и проверять до выпуска пользователям.
- Это набор весов, а не готовое приложение: понадобятся навыки работы с кодом и подходящее оборудование.
Платформы и интеграции
Семейство
Соседи по смыслу
за последний месяц