OmniRoute / Routing at control

Piliin kung paano gumagalaw ang bawat request.

Suriin ang mga routing strategy, free-tier accounting, compression, failure isolation at network control.

Suriin ang routing Subukan ang Cheaper Inference Bumalik sa overview

Mga routing strategy

Pumili ng `auto` route o bumuo ng sarili mo.

Gumamit ng ready-made na mode o pagsamahin ang 19 strategy ayon sa layuning mahalaga sa iyo.

Model · naka-enable ang fallbackautoBalanced default

OpenAI-compatible na request

curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Ubusin ang subscription quota

Gamitin ang quota na mayroon ka na bago gumalaw sa mga bayad na API.

priority · fill-first

Ikalat ang load

I-balance ang traffic sa mga key at account para mabawasan ang rate-limit pressure.

weighted · round-robin · p2c · least-used · headroom

Pinakamura muna

I-route sa pinakamababang-gastos na eligible na target.

cost-optimized

Context-aware

Panatilihin ang mahahabang context sa mga model na kaya ito, pagkatapos i-relay kung kailangan.

context-relay · context-optimized · cache-optimized

Randomized

Ipamahagi ang eligible na traffic sa mga target.

random · strict-random

Adaptive scoring

Gumamit ng 15-factor na scoring, last-known-good at reset-aware na window.

reset-window · reset-aware · lkgp · auto · fusion · pipeline

Free-tier accounting

Humigit-kumulang 1.51B nakalathalang token bawat buwan.

455 catalog entry ang na-deduplicate sa 40 recurring pool; tanging mga nakalathalang positibong budget ang pumapasok sa headline.

1.51B

Pinipigilan ng pool-deduped na accounting na mabilang nang higit sa isang beses ang mga shared quota. Nananatiling nakikita ang mga no-cap provider nang hindi pinalalaki ang kabuuang token. Checked 2026-08-30.

View the calculation

Recurring o keyless na free-forever provider56

Mistral1B/month
LLM7150M/month
Nara150M/month
Gemini CLI · forever60M/month
Kiro50 credits/month
Qoder · foreverFree catalog
LongCat · forever50M/day
Cerebras1M/day
NVIDIA NIM~40 RPM
Pollinations · foreverNo key
Cloudflare Workers AI · foreverDaily neurons
OpenCode Free · foreverNo-auth catalog

Context compression

Bawasan ang eligible na token ng 15–95%.

Puwedeng i-compress ang tool output, paulit-ulit na context at bloated na structured data bago umabot sa model.

Illustrative Ultra profile example from the audited documentation.

Before69 tokens

The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.

After19 tokens

sum all list items where value > 0

Composable pipeline

Session-Dedup
Alisin ang content na naipadala na kanina sa session.
CCR
I-archive ang malalaking block at i-restore kung kailangan.
Lite
Maglapat ng konserbatibong lossless na cleanup.
RTK
I-filter at i-deduplicate ang command at tool output.
Responses Tool Output
I-compact ang Responses API tool payload.
Headroom
Maglapat ng reversible na tabular at structured-data compaction.
Relevance
Panatilihin ang mga pangungusap na pinaka-relevant sa pinakabagong query.
Caveman
Gumamit ng rule-based na prose condensation.
Aggressive
Maglapat ng mas malakas na naka-configure na pruning.
LLMLingua-2
Gumamit ng code-safe na semantic pruning sa isolated na worker.
Ultra
Pagsamahin ang high-savings na stage at preservation guard.
OmniGlyph
I-encode nang compact ang eligible na paulit-ulit na structure.

Profiles

Nakalathalang profile range~30%x-omniroute-compression: standard

Controls and output styles

Mga named profile at aktibong selector
Visual Compression Studio
Anthropic Context Editing
Adaptive na context-budget dial
Per-request na \
header
Offline eval harness
Token-threshold auto-trigger
Terse prose
Less code (YAGNI)
Terse CJK 文言

Precedence ng control: request header → combo → profile → adaptive policy → default.

Failure isolation

I-isolate ang mga failure ng provider, connection at model.

Hindi dapat pumatay ng provider ang isang sirang key. Hindi dapat pumatay ng connection ang isang limitadong model.

model ⊂ connection ⊂ provider

Provider circuit breakerKapag unhealthy ang isang provider, lalaktawan ito ng combo routing hanggang magtagumpay ang half-open probe.

Connection cooldownI-cool down ang isang key o account habang patuloy na nagse-serve ang mga sibling connection.

Model lockoutI-lock ang isang rate-limited o hindi available na model habang nananatiling available ang ibang model sa connection.

Mga network at local data control

Network routing at mga local data control.

Kinokontrol ng mga proxy scope ang network routing habang pinananatili ng local-first na storage ang operational data sa machine mo.

Tatlong proxy scope

Mag-route nang global, per provider o per indibidwal na connection.

Global · per-provider · per-connection
SOCKS5 at HTTP(S) proxy
Integration sa proxy marketplace

Mga TLS at client fingerprint control

Itugma ang mga suportadong provider client hanggang sa piling transport characteristic.

JA3/JA4-capable na transport sa pamamagitan ng wreq-js
Provider-specific na client profile
Mga IPv4 at IPv6 egress control

Pribado at local-first

Nananatili sa host na kontrolado mo ang mga key, usage at history.

SQLite sa disk na may AES-256-GCM encrypted na credential
Hindi kailangan ng OmniRoute account
I-self-host sa infrastructure na pipiliin mo

RussiaChinaIranCubaTürkiye