Mistral Inference
Облачный API от Mistral AI: собственные и сторонние открытые модели через один интерфейс на инфраструктуре в Европе.
- Без регистрации
- Нет
- Русский интерфейс
- Нет
- Работает с русским языком
- Да
- Разработчик
- Mistral AI
- Страна
- Франция
Mistral Inference — облачный сервис французской компании Mistral AI для запуска языковых, мультимодальных, речевых и документных моделей через единый API. Рядом с флагманскими моделями Mistral доступны сторонние открытые модели, например от Z.ai: их обслуживает сама Mistral на своих GPU, на тех же условиях, что и собственные модели.
Сервис рассчитан на команды, которым нужны предсказуемая скорость, контроль над тем, где обрабатываются данные, и оплата за фактическое использование. Запросы можно направлять на региональные точки в ЕС или, для части моделей, в США, включать режим без хранения данных и заказывать приоритетное обслуживание с гарантией доступности.
Возможности
Единый API к моделям
Чат, агенты, распознавание документов, транскрибация и синтез речи вызываются через один интерфейс и официальные библиотеки для Python и JavaScript.
Свои и сторонние модели
Помимо моделей Mistral доступны сторонние открытые модели, которые обслуживает сама компания на своей инфраструктуре.
Региональная обработка
Запросы можно отправлять на точки в ЕС или США, чтобы соблюсти требования к хранению данных; доплата за региональные точки составляет десять процентов.
Приоритетный режим
Приоритетное обслуживание ставит запросы впереди обычного потока и подкрепляется гарантией доступности.
Пакетная обработка
Большие объёмы запросов обрабатываются со скидкой в половину цены, а кешированный ввод стоит заметно дешевле.
Документы и речь
Отдельные модели извлекают текст из документов и таблиц, расшифровывают аудио с разметкой говорящих и озвучивают текст.
Агенты и инструменты
Через тот же API создаются агенты с веб-поиском и другими инструментами.
Кому подойдёт
- Разработчики
Получают готовый API с библиотеками, примерами и выбором моделей под задачу и бюджет.
- Предприниматели и руководители
Могут держать обработку данных в нужном регионе и опираться на договорённости об уровне сервиса.
- Аналитики
Используют модели распознавания документов и транскрибации для разбора больших массивов материалов.
Как начать
- Создать аккаунт в консоли Mistral и выпустить ключ API.
- Выбрать модель в обзоре моделей или в руководстве по выбору.
- Отправить первый запрос через библиотеку для Python, JavaScript или обычным запросом по HTTP.
- При необходимости переключиться на региональную точку, пакетный или приоритетный режим.
Тарифы
Оплата за использование; пакетная обработка вдвое дешевле. Цены можно смотреть в долларах или евро.
Ограничения
- Сторонние модели работают по более короткому графику вывода из эксплуатации, чем модели Mistral.
- Региональные точки доступны только для части моделей и стоят дороже на десять процентов.
- Приоритетный режим и корпоративные условия оформляются через обращение к компании.
Платформы и интеграции
Семейство
Соседи по смыслу
за последний месяц