OmniRoute / Bề mặt API

Một endpoint, không chỉ chat.

Chat, embedding, rerank, hình ảnh, video, âm nhạc, giọng nói, OCR, file và batch, theo định dạng request client của bạn đang dùng.

Xem các định dạng Dùng thử Cheaper Inference Về trang tổng quan

Định dạng wire

Giữ nguyên định dạng request client của bạn đang gửi.

Một tiến trình nhận nhiều định dạng, nên công cụ xây trên SDK của một vendor chỉ cần đổi base URL, không gì khác.

OpenAI

Chat Completions, embedding, hình ảnh, âm thanh và file, giữ nguyên.

/v1/chat/completions

Anthropic

Định dạng wire Messages, bao gồm đếm token.

/v1/messages

OpenAI Responses

Định dạng Responses API, có nén gọn output của tool.

/v1/responses

Gemini

generateContent và danh sách mô hình Gemini.

/v1beta/models

Ollama

Thay thế trực tiếp cho công cụ dùng Ollama API cục bộ.

/v1/api/chat

Rerank and Jina

Rerank Cohere/Voyage cùng classify và segment của Jina.

/v1/rerank

Endpoint

Không chỉ chat completions.

Nhóm theo việc bạn muốn làm, không phải theo nhà cung cấp nào đang phục vụ.

Chat và messages

Ba định dạng request cùng tới một router, nên client giữ nguyên định dạng nó đang dùng.

POST/v1/chat/completionsOpenAI Chat Completions, streaming hoặc buffered
POST/v1/messagesAnthropic Messages
POST/v1/responsesOpenAI Responses
POST/v1/messages/count_tokensĐếm token trước khi tiêu

Embedding, tìm kiếm và xếp hạng

Nửa truy hồi của một stack RAG sau cùng endpoint và cùng key.

POST/v1/embeddingsEmbedding văn bản và đa phương thức
POST/v1/rerankRerank tương thích Cohere và Voyage
POST/v1/searchLớp trừu tượng tìm kiếm web trên nhiều nhà cung cấp
POST/v1/classifyPhân loại văn bản Jina
POST/v1/segmentPhân đoạn nội dung Jina
POST/v1/web/fetchTrích xuất trang dễ đọc

Hình ảnh, video và âm nhạc

Tạo sinh đi qua cùng cơ chế fallback và kế toán chi phí như văn bản.

POST/v1/images/generationsTạo hình ảnh
POST/v1/images/editsChỉnh sửa và inpainting
POST/v1/videos/generationsTạo video
POST/v1/music/generationsTạo âm nhạc

Âm thanh và tài liệu

Giọng nói hai chiều, cùng OCR cho tài liệu nguồn đã quét.

POST/v1/audio/transcriptionsGiọng nói thành văn bản
POST/v1/audio/translationsChuyển ngữ bản ghi âm
POST/v1/audio/speechVăn bản thành giọng nói
POST/v1/ocrOCR tài liệu

File và batch

Tải lên một lần, rồi chạy công việc bất đồng bộ thay vì giữ kết nối mở.

POST/v1/filesTải lên một file
GET/v1/files/{id}/contentStream nội dung file trở lại
POST/v1/batchesTạo batch job
GET/v1/batches/{id}Kiểm tra trạng thái batch
POST/v1/batches/{id}/cancelHủy batch đang chạy

Khám phá và kiểm soát

Mọi thứ client cần để chọn mô hình và giữ trong ngân sách.

GET/v1/modelsDanh mục mô hình nhóm theo nhà cung cấp
GET/v1/quotas/checkKiểm tra trước hạn mức còn lại
POST/v1/moderationsKiểm duyệt nội dung
GET/v1/wsNâng cấp WebSocket cho client streaming

Giao thức agent

MCP server với 110 công cụ và A2A agent card, phục vụ bởi cùng một tiến trình.

GET/api/mcp/streamMCP qua HTTP, 33 phạm vi
GET/api/mcp/sseMCP qua Server-Sent Events
POST/a2aJSON-RPC 2.0, 6 kỹ năng agent
GET/.well-known/agent.jsonAgent card công khai

Header

Mỗi phản hồi cho biết nó được phục vụ thế nào.

Định tuyến không phải hộp đen: quyết định, chi phí và cách nén tạo ra phản hồi đều được trả về cùng nó.

Header phản hồi

X-OmniRoute-DecisionChiến lược, alias nhà cung cấp và độ trễ đã phục vụ request
X-OmniRoute-ProviderAlias nhà cung cấp thực sự được định tuyến tới
X-OmniRoute-ModelĐịnh danh mô hình đã phân giải
X-OmniRoute-Latency-MsĐộ trễ upstream tính bằng mili giây
X-OmniRoute-Tokens-InSố token đầu vào
X-OmniRoute-Tokens-OutSố token đầu ra
X-OmniRoute-Response-CostChi phí USD của phản hồi này
X-OmniRoute-Cost-SavedUSD tránh được khi cache hit
X-OmniRoute-CacheHIT hoặc MISS trên request không streaming
X-OmniRoute-CompressionChế độ nén đã áp dụng và nguồn của nó
X-OmniRoute-Fallback-AttemptsSố bước fallback đã thực hiện, nếu có
X-OmniRoute-Request-IdId tương quan cho log request

Header request

x-omniroute-compressionGhi đè profile nén cho một request
X-OmniRoute-No-CacheBỏ qua cache ngữ nghĩa
x-omniroute-no-memoryBỏ qua chèn memory và kỹ năng
X-Session-IdKhóa gắn phiên và quy chi phí
Idempotency-KeyKhử trùng lặp request thử lại

Đọc tài liệu tham chiếu API