OmniRoute / Permukaan API

Satu endpoint, lebih dari sekadar chat.

Chat, embedding, reranking, gambar, video, musik, ucapan, OCR, file dan batch, dalam format request yang sudah dipakai klien Anda.

Lihat formatnya Coba Cheaper Inference Kembali ke ringkasan

Format wire

Pertahankan bentuk request yang sudah dikirim klien Anda.

Satu proses menerima beberapa format, sehingga tool yang dibangun dengan SDK satu vendor cukup mengganti base URL, tidak perlu yang lain.

OpenAI

Chat Completions, embedding, gambar, audio dan file, tanpa perubahan.

/v1/chat/completions

Anthropic

Format wire Messages, termasuk penghitungan token.

/v1/messages

OpenAI Responses

Bentuk Responses API, dengan pemadatan output tool.

/v1/responses

Gemini

generateContent dan daftar model Gemini.

/v1beta/models

Ollama

Pengganti langsung untuk tool yang memakai API Ollama lokal.

/v1/api/chat

Rerank and Jina

Reranking Cohere/Voyage plus classify dan segment Jina.

/v1/rerank

Endpoint

Lebih dari sekadar chat completions.

Dikelompokkan berdasarkan apa yang ingin Anda lakukan, bukan provider mana yang melayaninya.

Chat dan messages

Tiga bentuk request mencapai router yang sama, sehingga klien tetap memakai format yang sudah dikenalnya.

POST/v1/chat/completionsOpenAI Chat Completions, streaming atau buffered
POST/v1/messagesAnthropic Messages
POST/v1/responsesOpenAI Responses
POST/v1/messages/count_tokensHitung token sebelum memakainya

Embedding, pencarian dan ranking

Sisi retrieval dari stack RAG di balik endpoint dan key yang sama.

POST/v1/embeddingsEmbedding teks dan multimodal
POST/v1/rerankReranking kompatibel Cohere dan Voyage
POST/v1/searchAbstraksi pencarian web lintas provider
POST/v1/classifyKlasifikasi teks Jina
POST/v1/segmentSegmentasi konten Jina
POST/v1/web/fetchEkstraksi halaman yang mudah dibaca

Gambar, video dan musik

Pembuatan media melewati fallback dan akuntansi biaya yang sama dengan teks.

POST/v1/images/generationsSintesis gambar
POST/v1/images/editsEditing dan inpainting
POST/v1/videos/generationsPembuatan video
POST/v1/music/generationsSintesis musik

Audio dan dokumen

Ucapan dua arah, plus OCR untuk materi sumber hasil scan.

POST/v1/audio/transcriptionsUcapan ke teks
POST/v1/audio/translationsTranskripsi dengan terjemahan
POST/v1/audio/speechTeks ke ucapan
POST/v1/ocrOCR dokumen

File dan batch

Unggah sekali, lalu jalankan pekerjaan secara asinkron alih-alih menahan koneksi terbuka.

POST/v1/filesUnggah file
GET/v1/files/{id}/contentStream isi file kembali
POST/v1/batchesBuat batch job
GET/v1/batches/{id}Cek status batch
POST/v1/batches/{id}/cancelBatalkan batch yang berjalan

Discovery dan kontrol

Semua yang dibutuhkan klien untuk memilih model dan tetap dalam budget.

GET/v1/modelsKatalog model yang dikelompokkan per provider
GET/v1/quotas/checkValidasi sisa kuota lebih dulu
POST/v1/moderationsModerasi konten
GET/v1/wsUpgrade WebSocket untuk klien streaming

Protokol agen

Server MCP dengan 110 tool dan agent card A2A, dilayani oleh proses yang sama.

GET/api/mcp/streamMCP lewat HTTP, 33 scope
GET/api/mcp/sseMCP lewat Server-Sent Events
POST/a2aJSON-RPC 2.0, 6 skill agen
GET/.well-known/agent.jsonAgent card publik

Header

Setiap respons memberi tahu bagaimana ia dilayani.

Routing bukan kotak hitam: keputusan, biaya dan kompresi yang menghasilkan sebuah respons ikut kembali bersamanya.

Header respons

X-OmniRoute-DecisionStrategi, alias provider dan latensi yang melayani request
X-OmniRoute-ProviderAlias provider yang benar-benar dituju
X-OmniRoute-ModelIdentifier model yang di-resolve
X-OmniRoute-Latency-MsLatensi upstream dalam milidetik
X-OmniRoute-Tokens-InJumlah token input
X-OmniRoute-Tokens-OutJumlah token output
X-OmniRoute-Response-CostBiaya respons ini dalam USD
X-OmniRoute-Cost-SavedUSD yang dihindari saat cache hit
X-OmniRoute-CacheHIT atau MISS pada request non-streaming
X-OmniRoute-CompressionMode kompresi yang diterapkan dan asalnya
X-OmniRoute-Fallback-AttemptsLompatan fallback yang dilakukan, jika ada
X-OmniRoute-Request-IdId korelasi untuk log request

Header request

x-omniroute-compressionTimpa profil kompresi untuk satu request
X-OmniRoute-No-CacheLewati cache semantik
x-omniroute-no-memoryLewati injeksi memori dan skill
X-Session-IdKey afinitas sesi dan atribusi biaya
Idempotency-KeyDeduplikasi request yang diulang

Baca referensi API