Stable Video Diffusion
Открытая модель Stability AI, которая анимирует изображение и создаёт короткий видеоролик, а также позволяет запускать генерацию на своём оборудовании.
- Русский интерфейс
- Нет
- Разработчик
- Stability AI
- Страна
- Великобритания
Stable Video Diffusion — модель генерации видео от Stability AI, построенная на базе Stable Diffusion. На вход она принимает стартовое изображение или текстовое описание и создаёт короткий ролик: движение камеры, смену ракурса, естественное движение объектов внутри сцены. Модель выпущена в двух вариантах — на 14 и 25 кадров, частоту съёмки можно задавать в диапазоне от 3 до 30 кадров в секунду, а одна генерация занимает около двух минут.
В отличие от облачных видеосервисов, Stable Video Diffusion распространяется как открытая модель: веса и код можно развернуть на собственной инфраструктуре, встроить в производственный конвейер и дообучить под свои задачи, в том числе для синтеза новых ракурсов по одному изображению. Для коммерческого использования действует лицензия Stability AI: бесплатно для частных лиц, исследователей и компаний с выручкой менее миллиона долларов в год, платная корпоративная лицензия — для более крупных организаций.
Возможности
Видео из изображения
Модель анимирует стартовое изображение и создаёт короткий ролик с движением камеры и объектов.
Генерация по описанию
Ролик можно получить из текстового описания сцены.
Гибкая частота кадров
От 3 до 30 кадров в секунду и два варианта длины клипа: 14 или 25 кадров.
Быстрая генерация
Один ролик создаётся примерно за две минуты.
Работа на своём железе
Веса и код запускаются на собственной инфраструктуре, без обращения к внешнему сервису.
Дообучение под задачу
Модель можно дообучить на своих данных, например для синтеза новых ракурсов по одному снимку.
Лицензия для бизнеса
Community-лицензия покрывает коммерческое использование при выручке организации до миллиона долларов в год.
Кому подойдёт
- Разработчики
Встраивают генерацию видео в приложения и конвейеры, запуская модель на своих серверах.
- Исследователи и учёные
Работают с открытыми весами, воспроизводят эксперименты и дообучают модель на своих наборах данных.
- Видеомонтажёры и видеоблогеры
Быстро получают черновые анимированные кадры из фотографий и иллюстраций.
- Предприниматели и руководители
Считают стоимость собственного видеоконвейера без подписки на облачный сервис.
Как начать
- Оформите лицензию Community или Enterprise у Stability AI.
- Скачайте веса модели и код из репозитория.
- Установите зависимости Python и библиотеку Diffusers.
- Запустите генерацию, указав изображение, число кадров и частоту съёмки.
Тарифы
Для исследовательских целей модель доступна без оплаты независимо от выручки организации.
Ограничения
- Клипы короткие: 14 или 25 кадров, то есть несколько секунд видео.
- Собственного веб-интерфейса нет: для запуска нужны навыки Python и настроенное окружение.
- Генерация требует мощного графического ускорителя.
- Коммерческое использование при выручке свыше миллиона долларов в год требует платной корпоративной лицензии.
Платформы и интеграции
Соседи по смыслу
за последний месяц