BuseyBench
Публичный рейтинг языковых моделей по одной задаче: нарисовать портрет актёра Гэри Бьюзи в формате SVG.
BuseyBench — независимый бенчмарк, в котором сотни языковых моделей получают один и тот же запрос: создать автономный SVG-портрет Гэри Бьюзи на холсте 1024×1024 без внешних файлов. Результаты оценивает панель из трёх судей-моделей от разных лабораторий по четырём критериям: следование заданию, цельность лица, сходство и эстетика. В таблице лидеров видны оценка, стоимость и длительность каждого прогона, модели можно сортировать и фильтровать по разработчику и семейству. Задача выглядит шуточной, но позволяет наглядно сравнивать способности моделей к структурированной визуальной генерации и работе с кодом. Отдельный тест оценивает генераторы изображений.
Возможности
Таблица лидеров моделей
Рейтинг более 300 моделей с оценкой, сортировкой и фильтрами по разработчику и семейству. Есть страницы с динамикой оценок и хронологией.
Галерея SVG-портретов
Для каждого прогона показан отрендеренный портрет, так что результат можно оценить на глаз, а не только по цифре.
Оценка панелью судей
Три модели-судьи ставят оценки по четырём критериям, каждая оценка берётся три раза с медианой. Итог взвешивается: сходство 50%, цельность лица 20%, эстетика 15%, следование заданию 15%.
Стоимость и длительность
Для каждого прогона указаны затраты на генерацию, использованные токены и время, что помогает сравнивать цену и качество.
Парные сравнения
Судьи сравнивают портреты попарно в обоих порядках, а рейтинг Брэдли — Терри уточняет порядок моделей с одинаковой оценкой.
Проверка SVG-файлов
Скрипты, обработчики событий и внешние ресурсы в выводе моделей отклоняются, а артефакты проверяются перед публикацией.
Описание методики
Страница методики раскрывает версии запросов, рубрику оценки и правила сопоставимости прогонов.
Тест генераторов изображений
Отдельный раздел сравнивает генераторы изображений на портрете Бьюзи, запускаемые вручную.
Кому подойдёт
- Исследователи и учёные
Сравнение моделей на воспроизводимой визуальной задаче с открытой методикой, метриками согласия судей и разбросом оценок.
- Разработчики
Оценка способности разных моделей генерировать валидный код SVG и соотношения качества и стоимости при выборе модели для проекта.
- Аналитики
Данные о баллах, цене и времени прогонов по провайдерам позволяют отслеживать динамику между релизами моделей.
- Для личных задач
Развлекательный просмотр галереи нелепых и удачных портретов от известных моделей.
Как начать
- Открыть сайт в браузере, регистрация не нужна.
- Перейти на страницу таблицы лидеров.
- Отсортировать или отфильтровать модели по оценке, стоимости, разработчику или семейству.
- Открыть прогон интересующей модели и посмотреть портрет и метрики.
- Прочитать страницу методики, чтобы понять, как считается оценка.
Тарифы
Сайт не продаёт тарифов; указанные у прогонов суммы — это стоимость генерации модели, а не плата за сервис.
Ограничения
- Оценивает только одну узкую задачу — портрет Гэри Бьюзи в SVG, а не общий интеллект моделей
- Оценки выставляют модели-судьи и они могут быть предвзяты к реализму и узнаваемости
- Тест генераторов изображений запускается вручную и охватывает меньше моделей
- Прогоны с разными версиями запроса и политикой инструментов несопоставимы
- Часть результатов помечена как предварительные, если панель судей не завершила оценку
Платформы и интеграции
Соседи по смыслу
за последний месяц