MultiMatte
Открытая модель от Feyn Labs: называете, что оставить на фото, и она вырезает объект вместе с тонкими краями вроде волос.
MultiMatte — модель удаления фона, которой объект задают словами. Достаточно назвать, что оставить («the dog», «the bowl»), и всё остальное убирается. Вместо жёсткой бинарной маски модель выдаёт альфа-матту с плавной прозрачностью, поэтому волосы, шерсть и полупрозрачные предметы вырезаются аккуратнее. Модель построена на Meta SAM 3 (860 млн параметров) и дообучена методом LoRA: изменено около 19,5 млн параметров. Обучение шло на 19 953 изображениях. На тесте DIS-VD метрика S-measure составляет 0,901 против 0,667 у базовой SAM 3. Веса опубликованы на Hugging Face, работать с ними можно через Python-библиотеку NoBg.
Возможности
Выбор объекта текстом
Объект, который нужно оставить, называют обычной фразой, например «the dog». Модель сохраняет его и удаляет остальной фон.
Альфа-матта вместо маски
Результат — RGBA-вырез с непрерывной прозрачностью каждого пикселя. Волосы, шерсть и полупрозрачные края передаются мягче, чем при бинарной маске.
Режим без подсказки
Если название объекта не указать, используется общий запрос по умолчанию, и модель сама оставляет основной объект.
Точность выше SAM 3
На DIS-VD S-measure равен 0,901 против 0,667 у SAM 3, на DAVIS-S — 0,979 против 0,913. Улучшение отмечено на всех двенадцати проверочных наборах.
Установка через pip
Библиотека NoBg ставится командой pip install nobg. Модель загружается в несколько строк кода, результат сохраняется в PNG.
Сырая матта как тензор
Параметр return_type="tensor" возвращает необработанную маску для дальнейшей обработки в своём пайплайне.
Открытые веса
Модель feyninc/multimatte лежит на Hugging Face, адаптер LoRA уже влит в веса, отдельная библиотека для него не нужна.
Кому подойдёт
- Разработчики
Встроить вырезание объектов по текстовому запросу в свой код или пайплайн обработки изображений через Python-библиотеку NoBg.
- Дизайнеры
Быстро получить вырез с мягкими краями для коллажей и макетов, не обводя объект вручную.
- Интернет-магазины
Массово убирать фон у фотографий товаров, в том числе с мехом и полупрозрачными деталями.
- Фотографы
Отделять человека или предмет от фона на снимках с волосами и тонкими контурами.
- Исследователи и учёные
Открытые веса и опубликованные метрики позволяют сравнивать модель с другими методами матирования.
Как начать
- Установить библиотеку командой pip install nobg.
- Загрузить модель и процессор из feyninc/multimatte через AutoModel и AutoProcessor.
- Вызвать model.predict с путём к фото и, при необходимости, названием объекта.
- Сохранить результат вызовом cutout.save("output.png").
- Либо попробовать модель в браузере на странице Feyn, не устанавливая ничего.
Тарифы
Модель распространяется с открытыми весами. Библиотека NoBg и модель помечены лицензией Apache-2.0, но базовая SAM 3 выходит под собственной лицензией Meta, перед коммерческим использованием её стоит проверить.
Ограничения
- Работает только с неподвижными изображениями, видео не поддерживается.
- Для запуска нужен Python и установка библиотеки; готового приложения для телефона или компьютера нет.
- Сравнение в публикации проводилось с базовой SAM 3, а не с коммерческими сервисами удаления фона.
- Базовая SAM 3 распространяется по лицензии Meta, а не Apache, поэтому для коммерческого использования условия нужно проверить.
Платформы и интеграции
Соседи по смыслу
за последний месяц