GPT Realtime Translate
Модель OpenAI для перевода речи на лету: принимает звук более чем на 70 языках и отдаёт переведённую озвучку с субтитрами на 13 языках.
GPT Realtime Translate — модель OpenAI для синхронного перевода живой речи. Поток исходного аудио уходит в отдельный сеанс перевода, и обратно приходят переведённая речь и текстовые фрагменты, пока говорящий ещё не закончил фразу. Модель работает как синхронный переводчик, а не как собеседник: она не вызывает инструменты и не ведёт разговор, для голосовых ассистентов в Realtime API есть отдельные модели.
На вход модель принимает более 70 языков, на выход отдаёт 13 языков перевода. Целевой язык задаётся при создании сеанса, поэтому для каждой языковой пары нужен свой сеанс. Подключение идёт по WebRTC из браузера или по WebSocket с сервера, куда звук приходит из телефонии, эфира или медиасервера. Оплата — по длительности обработанного аудио, 0.034 доллара за минуту, без подписки.
Подходит для службы поддержки и продаж на разных языках, конференций, занятий, трансляций и видеокомнат: речь собеседника звучит на языке слушателя, а субтитры появляются по ходу разговора.
Возможности
Перевод речи на лету
Переводит звук прямо во время разговора, не дожидаясь конца фразы.
Озвучка перевода
Возвращает переведённую речь аудиопотоком, её можно сразу проигрывать слушателю.
Субтитры по ходу речи
Присылает текстовые фрагменты перевода небольшими порциями.
Низкая задержка
Работает с живым аудиопотоком и сохраняет темп говорящего.
WebRTC и WebSocket
Браузер подключается по WebRTC, сервер отдаёт звук по WebSocket.
Выбор языка перевода
Целевой язык задаётся при создании сеанса, переключается новым сеансом.
Данные в Евросоюзе
Realtime API поддерживает хранение данных в ЕС для приложений оттуда.
Что ещё умеет GPT Realtime Translate
- Перевод речи в реальном времени
Принимает поток исходного аудио и отдаёт переведённую речь, пока собеседник ещё говорит.
- Транскрипт перевода
Присылает текстовые фрагменты перевода по мере поступления звука — их используют для субтитров.
- Сеансы перевода по WebRTC и WebSocket
Отдельная точка входа Realtime API для перевода: WebRTC для браузера, WebSocket для серверного аудиопотока.
Кому подойдёт
- Разработчики
Встраивают перевод в голосовые продукты через Realtime API.
- Служба поддержки
Обслуживает клиентов на их языке без отдельного переводчика.
- Переводчики
Собирают синхронный перевод встреч и эфиров с субтитрами.
- Предприниматели и руководители
Ведут переговоры и презентации для международной аудитории.
- Авторы контента и блогеры
Озвучивают видео и трансляции на языках своей аудитории.
Как начать
- Получите ключ API в аккаунте OpenAI Platform.
- Создайте сеанс перевода: короткий клиентский ключ для браузера или подключение по WebSocket с сервера.
- Укажите целевой язык перевода в настройках сеанса.
- Отправляйте звук: медиапоток по WebRTC или аудио 24 кГц PCM16 по WebSocket.
- Принимайте переведённую озвучку и текстовые фрагменты, а по завершении закройте сеанс.
Тарифы
Подписки нет: платят за минуты обработанного звука.
Ограничения
- Это переводчик, а не ассистент: модель не вызывает инструменты и не отвечает на вопросы.
- Перевод доступен на 13 языков, хотя на входе языков больше семидесяти.
- На каждый целевой язык нужен отдельный сеанс перевода.
- Нет готового приложения: перевод встраивают в свой продукт через API.
- Оплата идёт за минуты аудио, а лимиты зависят от уровня аккаунта.
Платформы и интеграции
Семейство
Соседи по смыслу
за последний месяц