MatAnyone
Открытая модель, которая отделяет человека от фона в видео и выдаёт аккуратную альфа-маску с тонкими деталями краёв.
- Можно попробовать бесплатно
- Да
- Без регистрации
- Да
- Русский интерфейс
- Нет
- Разработчик
- S-Lab, Nanyang Technological University и SenseTime
- Версия
- 2
- Страна
- Сингапур
MatAnyone 2 — модель видеоматтинга для людей, разработанная в S-Lab Наньянского технологического университета и SenseTime; работа принята на CVPR 2026. Она отделяет человека от фона в видео и строит альфа-маску, которая сохраняет волосы, полупрозрачные края и мелкие детали, а не режет контур как обычная сегментация. Модель обучена на датасете VMReal: 28 тысяч клипов и 2,4 миллиона кадров. Для разметки и обучения авторы создали оценщик качества Matting Quality Evaluator, который оценивает маску попиксельно без эталонной разметки. По сравнению с первой версией MatAnyone модель устойчивее работает в сложных реальных съёмках. Код и веса открыты, есть онлайн-демо на Hugging Face.
Возможности
Вырезание человека из видео
Модель отделяет выбранного человека от фона по всему ролику и выдаёт видео переднего плана вместе с альфа-каналом.
Тонкие детали краёв
Волосы, полупрозрачные участки и размытые границы сохраняются в маске, а не обрезаются жёстким контуром.
Стабильность между кадрами
Память опорных кадров удерживает результат согласованным по времени, поэтому маска не мерцает от кадра к кадру.
Маска по первому кадру
Достаточно задать маску человека на первом кадре, например через SAM2; в демо цель выбирается несколькими кликами.
Оценщик качества масок
Matting Quality Evaluator оценивает качество маски попиксельно без эталона и используется при обучении и отборе данных.
Python API и командная строка
Вызов через класс MatAnyone2 и InferenceCore или командой matanyone2; принимает mp4, mov, avi и папки с кадрами.
Онлайн-демо на Hugging Face
Попробовать модель можно в браузере без установки; локально демо на Gradio запускается из папки репозитория.
Кому подойдёт
- Видеомонтажёры и видеоблогеры
Удаление и замена фона в роликах без зелёного экрана, с сохранением волос и мягких краёв.
- Разработчики
Встраивание матирования в собственные пайплайны через Python API и командную строку.
- Исследователи и учёные
Готовая сильная база для экспериментов по видеоматтингу и сравнения с другими методами.
- Дизайнеры
Подготовка вырезанных фигур с альфа-каналом для композитинга и визуальных эффектов.
Как начать
- Открыть демо на Hugging Face или установить пакет из репозитория через Conda или uv.
- Загрузить видео в формате mp4, mov, avi или папку с кадрами.
- Задать маску человека на первом кадре: кликами в демо или PNG-файлом из SAM2.
- Запустить обработку командой matanyone2 -i видео -m маска.png.
- Забрать результаты из папки results: видео переднего плана и альфа-маску.
Тарифы
Распространяется под лицензией NTU S-Lab License 1.0, использование и распространение должны ей соответствовать.
Ограничения
- Работает с людьми; общий матирование любых объектов не заявлено
- Нужна маска человека на первом кадре
- Локальный запуск рассчитан на видеокарту с CUDA
- Лицензия NTU S-Lab License 1.0 накладывает условия на использование и распространение
- Датасет VMReal пока не опубликован
Платформы и интеграции
Соседи по смыслу
за последний месяц