OmniRoute / Поверхня API

Один ендпоінт, більше ніж чат.

Чат, ембедінги, реранкінг, зображення, відео, музика, мовлення, OCR, файли та пакети у форматі запиту, яким уже користується ваш клієнт.

Переглянути формати Спробувати Cheaper Inference Назад до огляду

Формати запитів

Зберігайте формат запиту, який уже надсилає ваш клієнт.

Один процес приймає кілька форматів, тож інструменту, написаному під SDK одного вендора, достатньо змінити base URL і більше нічого.

OpenAI

Chat Completions, ембедінги, зображення, аудіо та файли без змін.

/v1/chat/completions

Anthropic

Формат Messages, включно з підрахунком токенів.

/v1/messages

OpenAI Responses

Формат Responses API з ущільненням виводу інструментів.

/v1/responses

Gemini

generateContent і список моделей Gemini.

/v1beta/models

Ollama

Пряма заміна для інструментів, що працюють із локальним Ollama API.

/v1/api/chat

Rerank and Jina

Реранкінг Cohere/Voyage, а також класифікація та сегментація Jina.

/v1/rerank

Ендпоінти

Більше ніж chat completions.

Згруповано за тим, що ви хочете зробити, а не за провайдером, який це обслуговує.

Чат і повідомлення

Три формати запитів потрапляють до одного маршрутизатора, тож клієнт зберігає формат, яким уже користується.

POST/v1/chat/completionsOpenAI Chat Completions, потоково або буферизовано
POST/v1/messagesAnthropic Messages
POST/v1/responsesOpenAI Responses
POST/v1/messages/count_tokensПідрахунок токенів до їх витрати

Ембедінги, пошук і ранжування

Пошукова половина RAG-стека за тим самим ендпоінтом і тим самим ключем.

POST/v1/embeddingsТекстові та мультимодальні ембедінги
POST/v1/rerankРеранкінг, сумісний із Cohere та Voyage
POST/v1/searchАбстракція веб-пошуку над провайдерами
POST/v1/classifyКласифікація тексту Jina
POST/v1/segmentСегментація вмісту Jina
POST/v1/web/fetchВитягування читабельного вмісту сторінки

Зображення, відео та музика

Генерація проходить через той самий fallback і облік витрат, що й текст.

POST/v1/images/generationsСинтез зображень
POST/v1/images/editsРедагування та inpainting
POST/v1/videos/generationsГенерація відео
POST/v1/music/generationsСинтез музики

Аудіо та документи

Мовлення в обох напрямках, а також OCR для сканованих джерел.

POST/v1/audio/transcriptionsМовлення в текст
POST/v1/audio/translationsТранскрипція з перекладом
POST/v1/audio/speechТекст у мовлення
POST/v1/ocrOCR документів

Файли та пакети

Завантажте один раз, а потім виконуйте роботу асинхронно, не тримаючи з'єднання відкритим.

POST/v1/filesЗавантажити файл
GET/v1/files/{id}/contentПотокове повернення вмісту файлу
POST/v1/batchesСтворити пакетне завдання
GET/v1/batches/{id}Перевірити статус пакета
POST/v1/batches/{id}/cancelСкасувати пакет, що виконується

Виявлення та керування

Усе, що потрібно клієнту, щоб вибрати модель і не вийти за бюджет.

GET/v1/modelsКаталог моделей, згрупований за провайдерами
GET/v1/quotas/checkПопередня перевірка залишку квоти
POST/v1/moderationsМодерація вмісту
GET/v1/wsОновлення до WebSocket для потокових клієнтів

Агентні протоколи

MCP-сервер із 110 інструментами та A2A agent card, які обслуговує той самий процес.

GET/api/mcp/streamMCP через HTTP, 33 областей
GET/api/mcp/sseMCP через Server-Sent Events
POST/a2aJSON-RPC 2.0, 6 навичок агента
GET/.well-known/agent.jsonПублічна agent card

Заголовки

Кожна відповідь повідомляє, як її обслужили.

Маршрутизація не чорна скринька: рішення, вартість і стиснення, що сформували відповідь, повертаються разом із нею.

Заголовки відповіді

X-OmniRoute-DecisionСтратегія, псевдонім провайдера та затримка, з якими виконано запит
X-OmniRoute-ProviderПсевдонім провайдера, до якого фактично маршрутизовано
X-OmniRoute-ModelВизначений ідентифікатор моделі
X-OmniRoute-Latency-MsЗатримка upstream у мілісекундах
X-OmniRoute-Tokens-InКількість вхідних токенів
X-OmniRoute-Tokens-OutКількість вихідних токенів
X-OmniRoute-Response-CostВартість цієї відповіді в USD
X-OmniRoute-Cost-SavedЗаощаджено USD при попаданні в кеш
X-OmniRoute-CacheHIT або MISS для непотокових запитів
X-OmniRoute-CompressionЗастосований режим стиснення та його джерело
X-OmniRoute-Fallback-AttemptsВиконані переходи fallback, якщо вони були
X-OmniRoute-Request-IdКореляційний id для журналу запитів

Заголовки запиту

x-omniroute-compressionПеревизначити профіль стиснення для одного запиту
X-OmniRoute-No-CacheОбійти семантичний кеш
x-omniroute-no-memoryПропустити впровадження пам'яті та навичок
X-Session-IdКлюч прив'язки сесії та атрибуції витрат
Idempotency-KeyДедуплікувати повторний запит

Читати довідник API

OmniRoute від Cheaper Inference

Виберіть, як запускати OmniRoute.

Розгорніть OmniRoute самостійно або використовуйте Cheaper Inference, хостований шлюз із ранжуванням за вартістю.

Спробувати Cheaper Inference Розгорнути OmniRoute самостійно Відкрити на GitHub