Segment Anything Model
Модель Meta, которая находит объекты на изображениях и в видео по короткому описанию и возвращает для каждого рамку и точную попиксельную маску.
Segment Anything Model — линейка моделей сегментации Meta. На вход она принимает изображение или видео и короткую именную фразу вроде «жёлтый школьный автобус», а на выходе отдаёт для каждого найденного объекта рамку и попиксельную маску. Вместо текстового ответа приходит геометрия: рамка показывает, где объект, маска — какие именно пиксели ему принадлежат, поэтому результат можно измерять, вырезать, закрашивать или накладывать на видео.
Одна модель обрабатывает и кадры, и клипы: в видео каждый объект сохраняет свой идентификатор между кадрами, и его контур можно вести вперёд, назад или в обе стороны. Если положение объекта уже известно, его помечают рамкой, точками или готовой маской — тогда модель достраивает контур по этим подсказкам.
Работает через Meta Model API на том же ключе и в том же формате запросов, что и остальные модели Meta. Веса опубликованы открыто, поэтому модель можно запускать и на собственном оборудовании.
Возможности
Поиск по описанию
Короткая именная фраза называет объект, а модель возвращает все совпадения — по рамке и маске на каждое.
Подсказки рамкой и точкой
Объект отмечают рамкой, положительными и отрицательными точками или маской, чтобы точно задать его границы.
Отслеживание в видео
Идентификатор объекта сохраняется между кадрами, поэтому его контур можно вести по клипу в любом направлении.
Попиксельные маски
Маска приходит растром в сжатом виде: есть формат без потерь и однобитный, а также оценка уверенности для каждой рамки.
Библиотеки разбора
Клиентские библиотеки для TypeScript и Python разбирают поток, декодируют маски и собирают наложения.
Один вызов для фото и видео
Изображение и клип обрабатываются одной моделью через Responses API, поэтому интеграция не меняется при переходе на видео.
Открытые веса
Контрольные точки опубликованы, и модель можно развернуть на своих графических ускорителях вместо обращения к API.
Что ещё умеет Segment Anything Model
- Object Multiplex
Группа объектов в видео обрабатывается совместно с общей памятью вместо независимого прохода по каждому, что резко ускоряет отслеживание при большом числе объектов.
- Отслеживание объектов в видео
Каждый объект сохраняет идентификатор между кадрами, поэтому его контур можно вести вперёд, назад или в обе стороны по клипу.
Кому подойдёт
- Разработчики
Встраивают сегментацию в редакторы, системы разметки и аналитические сервисы.
- Видеомонтажёры и видеоблогеры
Готовят маски для выделения объектов, замены фона и сопровождения предметов в клипах.
- Исследователи и учёные
Измеряют площади, считают экземпляры и собирают датасеты с попиксельной разметкой.
- Аналитики
Извлекают объекты со снимков и записей для дальнейшего подсчёта и измерений.
- Дизайнеры
Вырезают предметы из фотографий для макетов и композиций.
- Фотографы
Получают точные маски для обработки снимков и замены фона.
Как начать
- Получите ключ MODEL_API_KEY в кабинете Meta Model API.
- Отправьте запрос к Responses API с моделью sam-3.1, коротким описанием объекта и изображением или ссылкой на видео.
- Включите потоковую выдачу, чтобы получать кадры по мере обработки, и читайте строки с рамками и масками.
- Разберите ответ библиотекой @meta-sam/parser и декодируйте маски в растры.
- Для повторной работы с одним клипом загрузите его через Files API и ссылайтесь на file_id.
Тарифы
Оплата по факту, без минимальных платежей и предоплаты. Самостоятельный запуск открытых весов не тарифицируется.
Ограничения
- Одна фраза описывает один объект; несколько типов объектов требуют отдельных запросов или подсказок рамками.
- Отрицания, перечисления через «или» и пространственные уточнения вроде «слева» работают нестабильно.
- Видео принимается в контейнерах MP4 и MOV с кодеками H.264, H.265 или MPEG-4.
- Каждый видео-запрос тарифицируется минимум за 50 кадров.
- Модель не отвечает на вопросы о сцене и не описывает содержимое — для этого нужна языковая модель.
- Идентификатор объекта не гарантируется при входе в кадр, выходе из него, полном перекрытии и в очень длинных клипах.
- Лимит 3 000 запросов в минуту на команду; отдельного лимита по токенам нет.
Платформы и интеграции
Семейство
Соседи по смыслу
за последний месяц