OmniRoute / Routing dan kontrol

Pilih bagaimana setiap request bergerak.

Periksa strategi routing, akuntansi tier gratis, kompresi, isolasi kegagalan dan kontrol jaringan.

Periksa routing Coba Cheaper Inference Kembali ke ringkasan

Strategi routing

Pilih rute `auto` atau buat sendiri.

Pakai mode siap pakai atau kombinasikan 19 strategi sesuai tujuan yang penting bagi Anda.

Model · fallback aktifautoBalanced default

Request kompatibel OpenAI

curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Habiskan kuota langganan

Pakai kuota yang sudah Anda punya sebelum menyentuh API berbayar.

priority · fill-first

Sebarkan beban

Seimbangkan traffic antar key dan akun untuk mengurangi tekanan rate limit.

weighted · round-robin · p2c · least-used · headroom

Termurah dulu

Rutekan ke target termurah yang memenuhi syarat.

cost-optimized

Sadar konteks

Pertahankan konteks panjang di model yang muat, lalu relay saat diperlukan.

context-relay · context-optimized · cache-optimized

Acak

Sebarkan traffic yang memenuhi syarat ke berbagai target.

random · strict-random

Skor adaptif

Gunakan skor 15 faktor, last-known-good dan window yang sadar reset.

reset-window · reset-aware · lkgp · auto · fusion · pipeline

Akuntansi tier gratis

Sekitar 1.51B token terpublikasi setiap bulan.

455 entri katalog dideduplikasi menjadi 40 pool berulang; hanya budget positif yang dipublikasikan yang masuk ke angka utama.

1.51B

Akuntansi terdeduplikasi per pool mencegah kuota bersama dihitung lebih dari sekali. Provider tanpa batas tetap terlihat tanpa menggelembungkan total token. Checked 2026-08-30.

View the calculation

Provider gratis selamanya, berulang atau tanpa key56

Mistral1B/month
LLM7150M/month
Nara150M/month
Gemini CLI · forever60M/month
Kiro50 credits/month
Qoder · foreverFree catalog
LongCat · forever50M/day
Cerebras1M/day
NVIDIA NIM~40 RPM
Pollinations · foreverNo key
Cloudflare Workers AI · foreverDaily neurons
OpenCode Free · foreverNo-auth catalog

Kompresi konteks

Kurangi token yang memenuhi syarat sebesar 15–95%.

Output tool, konteks berulang dan data terstruktur yang membengkak bisa dikompres sebelum sampai ke model.

Illustrative Ultra profile example from the audited documentation.

Before69 tokens

The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.

After19 tokens

sum all list items where value > 0

Composable pipeline

Session-Dedup
Buang konten yang sudah dikirim lebih awal dalam sesi.
CCR
Arsipkan blok besar dan pulihkan saat diminta.
Lite
Terapkan pembersihan lossless yang konservatif.
RTK
Filter dan deduplikasi output perintah dan tool.
Responses Tool Output
Padatkan payload tool Responses API.
Headroom
Terapkan pemadatan data tabular dan terstruktur yang bisa dibalik.
Relevance
Pertahankan kalimat yang paling relevan dengan query terbaru.
Caveman
Gunakan pemadatan prosa berbasis aturan.
Aggressive
Terapkan pemangkasan yang lebih kuat sesuai konfigurasi.
LLMLingua-2
Gunakan pemangkasan semantik yang aman untuk kode di worker terisolasi.
Ultra
Gabungkan tahap penghematan tinggi dengan pengaman preservasi.
OmniGlyph
Enkode struktur berulang yang memenuhi syarat secara ringkas.

Profiles

Rentang profil terpublikasi~30%x-omniroute-compression: standard

Controls and output styles

Profil bernama dan pemilih aktif
Visual Compression Studio
Anthropic Context Editing
Dial budget konteks adaptif
Header \
per request
Harness eval offline
Pemicu otomatis ambang token
Terse prose
Less code (YAGNI)
Terse CJK 文言

Prioritas kontrol: header request → combo → profil → kebijakan adaptif → default.

Isolasi kegagalan

Isolasi kegagalan provider, koneksi dan model.

Satu key buruk tidak boleh mematikan provider. Satu model yang dibatasi tidak boleh mematikan koneksi.

model ⊂ koneksi ⊂ provider

Circuit breaker providerSaat provider tidak sehat, routing combo melewatinya sampai probe half-open berhasil.

Cooldown koneksiDinginkan satu key atau akun sementara koneksi lain tetap melayani.

Penguncian modelKunci satu model yang terkena rate limit atau tidak tersedia sementara model lain di koneksi itu tetap tersedia.

Kontrol jaringan dan data lokal

Kontrol routing jaringan dan data lokal.

Scope proxy mengontrol routing jaringan, sementara penyimpanan local-first menjaga data operasional di mesin Anda.

Tiga scope proxy

Rutekan secara global, per provider atau per koneksi.

Global · per provider · per koneksi
Proxy SOCKS5 dan HTTP(S)
Integrasi marketplace proxy

Kontrol fingerprint TLS dan klien

Samakan dengan klien provider yang didukung hingga ke karakteristik transport tertentu.

Transport berkemampuan JA3/JA4 via wreq-js
Profil klien khusus per provider
Kontrol egress IPv4 dan IPv6

Privat dan local-first

Key, penggunaan dan riwayat tetap di host yang Anda kendalikan.

SQLite di disk dengan kredensial terenkripsi AES-256-GCM
Tidak perlu akun OmniRoute
Host sendiri di infrastruktur pilihan Anda

RusiaTiongkokIranKubaTürkiye