OmniRoute / Smerovanie a riadenie

Vyberte si, ako sa každá požiadavka pohybuje.

Preskúmajte stratégie smerovania, účtovanie bezplatných úrovní, kompresiu, izoláciu zlyhaní a sieťové ovládanie.

Preskúmať smerovanie Vyskúšať Cheaper Inference Späť na prehľad

Stratégie smerovania

Vyberte si trasu `auto` alebo si zostavte vlastnú.

Použite pripravený režim alebo skombinujte 19 stratégií okolo cieľa, na ktorom vám záleží.

Model · fallback zapnutýautoBalanced default

Požiadavka kompatibilná s OpenAI

curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Vyčerpať kvótu predplatného

Využite kvótu, ktorú už máte, skôr než siahnete na platené API.

priority · fill-first

Rozložiť záťaž

Vyvážte prevádzku medzi kľúčmi a účtami a znížte tlak rate limitov.

weighted · round-robin · p2c · least-used · headroom

Najlacnejší prvý

Smerujte na oprávnený cieľ s najnižšou cenou.

cost-optimized

Podľa kontextu

Držte dlhé kontexty na modeloch, do ktorých sa zmestia, a v prípade potreby ich preneste ďalej.

context-relay · context-optimized · cache-optimized

Náhodné

Rozdeľte oprávnenú prevádzku medzi ciele.

random · strict-random

Adaptívne skórovanie

Použite skórovanie podľa 15 faktorov, posledný fungujúci cieľ a okná rešpektujúce reset.

reset-window · reset-aware · lkgp · auto · fusion · pipeline

Účtovanie bezplatných úrovní

Približne 1.51B zverejnených tokenov každý mesiac.

455 položiek katalógu je deduplikovaných do 40 opakujúcich sa poolov; do hlavného čísla vstupujú len zverejnené kladné rozpočty.

1.51B

Účtovanie s deduplikáciou poolov zabraňuje viacnásobnému započítaniu zdieľaných kvót. Poskytovatelia bez limitu zostávajú viditeľní bez nafukovania celkového počtu tokenov. Checked 2026-08-30.

View the calculation

Opakujúci sa alebo bezkľúčoví navždy bezplatní poskytovatelia56

Mistral1B/month
LLM7150M/month
Nara150M/month
Gemini CLI · forever60M/month
Kiro50 credits/month
Qoder · foreverFree catalog
LongCat · forever50M/day
Cerebras1M/day
NVIDIA NIM~40 RPM
Pollinations · foreverNo key
Cloudflare Workers AI · foreverDaily neurons
OpenCode Free · foreverNo-auth catalog

Kompresia kontextu

Znížte oprávnené tokeny o 15–95%.

Výstup nástrojov, opakovaný kontext a nafúknuté štruktúrované dáta sa dajú skomprimovať skôr, než dorazia k modelu.

Illustrative Ultra profile example from the audited documentation.

Before69 tokens

The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.

After19 tokens

sum all list items where value > 0

Composable pipeline

Session-Dedup
Vypustí obsah, ktorý bol v relácii odoslaný už skôr.
CCR
Archivuje veľké bloky a na požiadanie ich obnoví.
Lite
Aplikuje konzervatívne bezstratové čistenie.
RTK
Filtruje a deduplikuje výstup príkazov a nástrojov.
Responses Tool Output
Zhutní payloady nástrojov Responses API.
Headroom
Aplikuje vratné zhutnenie tabuľkových a štruktúrovaných dát.
Relevance
Ponechá vety najrelevantnejšie pre posledný dotaz.
Caveman
Použije kondenzáciu prózy založenú na pravidlách.
Aggressive
Aplikuje silnejšie nakonfigurované prerezávanie.
LLMLingua-2
Použije sémantické prerezávanie bezpečné pre kód v izolovanom workeri.
Ultra
Kombinuje fázy s vysokou úsporou s ochranou pred stratou obsahu.
OmniGlyph
Kompaktne zakóduje oprávnené opakujúce sa štruktúry.

Profiles

Zverejnený rozsah profilu~30%x-omniroute-compression: standard

Controls and output styles

Pomenované profily a aktívny selektor
Vizuálne Compression Studio
Anthropic Context Editing
Adaptívny regulátor rozpočtu kontextu
Pre jednu požiadavku \
hlavička
Offline harness na evaly
Automatický spúšťač podľa prahu tokenov
Terse prose
Less code (YAGNI)
Terse CJK 文言

Priorita ovládania: hlavička požiadavky → combo → profil → adaptívna politika → predvolené.

Izolácia zlyhaní

Izolujte zlyhania poskytovateľa, pripojenia a modelu.

Zlý kľúč by nemal vyradiť poskytovateľa. Obmedzený model by nemal vyradiť pripojenie.

model ⊂ pripojenie ⊂ poskytovateľ

Circuit breaker poskytovateľaKeď je poskytovateľ nezdravý, smerovanie combo ho preskakuje, kým neuspeje half-open sonda.

Cooldown pripojeniaNechajte jeden kľúč alebo účet vychladnúť, zatiaľ čo susedné pripojenia ďalej obsluhujú.

Lockout modeluZamknite jeden model s rate limitom alebo nedostupný model, zatiaľ čo ostatné modely na pripojení zostávajú dostupné.

Sieť a kontrola lokálnych dát

Sieťové smerovanie a kontrola lokálnych dát.

Rozsahy proxy riadia sieťové smerovanie, zatiaľ čo local-first úložisko drží prevádzkové dáta na vašom počítači.

Tri rozsahy proxy

Smerujte globálne, per poskytovateľ alebo per jednotlivé pripojenie.

Globálne · per poskytovateľ · per pripojenie
SOCKS5 a HTTP(S) proxy
Integrácia s marketplace proxy

Ovládanie TLS a fingerprintu klienta

Napodobnite podporovaných klientov poskytovateľov až po vybrané vlastnosti transportu.

Transport s podporou JA3/JA4 cez wreq-js
Profily klientov špecifické pre poskytovateľa
Ovládanie odchádzajúcej prevádzky IPv4 a IPv6

Súkromné a local-first

Kľúče, využitie a história zostávajú na hostiteľovi, ktorý ovládate.

SQLite na disku s prihlasovacími údajmi šifrovanými AES-256-GCM
Nie je potrebný účet OmniRoute
Self-hosting na infraštruktúre podľa vášho výberu

RuskoČínaIránKubaTurecko