OmniRoute / Reititys ja hallinta

Valitse, miten jokainen pyyntö liikkuu.

Tarkastele reititysstrategioita, ilmaistasojen laskentaa, pakkausta, vikojen eristystä ja verkon hallintaa.

Tarkastele reititystä Kokeile Cheaper Inferencea Takaisin yleiskatsaukseen

Reititysstrategiat

Valitse `auto`-reitti tai rakenna oma.

Käytä valmista tilaa tai yhdistele 19 strategiaa sinulle tärkeän tavoitteen ympärille.

Malli · varareititys käytössäautoBalanced default

OpenAI-yhteensopiva pyyntö

curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Käytä tilauskiintiö loppuun

Käytä olemassa oleva kiintiö ennen maksullisia API-rajapintoja.

priority · fill-first

Jaa kuorma

Tasaa liikenne avainten ja tilien välillä pyyntörajapaineen vähentämiseksi.

weighted · round-robin · p2c · least-used · headroom

Halvin ensin

Reititä edullisimpaan kelvolliseen kohteeseen.

cost-optimized

Kontekstitietoinen

Pidä pitkät kontekstit malleissa, joihin ne mahtuvat, ja välitä eteenpäin tarvittaessa.

context-relay · context-optimized · cache-optimized

Satunnaistettu

Jaa kelvollinen liikenne kohteiden kesken.

random · strict-random

Mukautuva pisteytys

Käytä 15 tekijän pisteytystä, viimeksi toiminutta kohdetta ja nollaustietoisia ikkunoita.

reset-window · reset-aware · lkgp · auto · fusion · pipeline

Ilmaistasojen laskenta

Noin 1.51B julkaistua tokenia joka kuukausi.

455 katalogimerkintää deduplikoidaan 40 toistuvaan pooliin; vain julkaistut positiiviset budjetit lasketaan otsikkolukuun.

1.51B

Poolikohtaisesti deduplikoitu laskenta estää jaettujen kiintiöiden laskemisen useammin kuin kerran. Rajattomat palveluntarjoajat pysyvät näkyvissä paisuttamatta tokenien kokonaismäärää. Checked 2026-08-30.

View the calculation

Toistuvat tai avaimettomat ikuisesti ilmaiset palveluntarjoajat56

Mistral1B/month
LLM7150M/month
Nara150M/month
Gemini CLI · forever60M/month
Kiro50 credits/month
Qoder · foreverFree catalog
LongCat · forever50M/day
Cerebras1M/day
NVIDIA NIM~40 RPM
Pollinations · foreverNo key
Cloudflare Workers AI · foreverDaily neurons
OpenCode Free · foreverNo-auth catalog

Kontekstin pakkaus

Vähennä kelvollisia tokeneita 15–95%.

Työkalutuloste, toistuva konteksti ja paisunut rakenteinen data voidaan pakata ennen kuin ne saapuvat mallille.

Illustrative Ultra profile example from the audited documentation.

Before69 tokens

The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.

After19 tokens

sum all list items where value > 0

Composable pipeline

Session-Dedup
Pudota sisältö, joka on jo lähetetty aiemmin istunnossa.
CCR
Arkistoi suuret lohkot ja palauta ne tarvittaessa.
Lite
Tee varovainen häviötön puhdistus.
RTK
Suodata ja deduplikoi komento- ja työkalutuloste.
Responses Tool Output
Tiivistä Responses API:n työkalukuormat.
Headroom
Tee palautettava taulukko- ja rakenteisen datan tiivistys.
Relevance
Säilytä viimeisimmän kyselyn kannalta olennaisimmat lauseet.
Caveman
Käytä sääntöpohjaista proosan tiivistystä.
Aggressive
Käytä vahvempaa määritettyä karsintaa.
LLMLingua-2
Käytä kooditurvallista semanttista karsintaa eristetyssä työprosessissa.
Ultra
Yhdistä suuren säästön vaiheet säilytyssuojiin.
OmniGlyph
Koodaa kelvolliset toistuvat rakenteet tiiviisti.

Profiles

Julkaistu profiilin vaihteluväli~30%x-omniroute-compression: standard

Controls and output styles

Nimetyt profiilit ja aktiivinen valitsin
Visuaalinen Compression Studio
Anthropic Context Editing
Mukautuva kontekstibudjetin säädin
Pyyntökohtainen \
-otsake
Offline-evaluointikehikko
Tokenikynnyksen automaattilaukaisu
Terse prose
Less code (YAGNI)
Terse CJK 文言

Ohjauksen etusijajärjestys: pyyntöotsake → combo → profiili → mukautuva politiikka → oletus.

Vikojen eristys

Eristä palveluntarjoaja-, yhteys- ja mallivirheet.

Huono avain ei saa kaataa palveluntarjoajaa. Rajoitettu malli ei saa kaataa yhteyttä.

malli ⊂ yhteys ⊂ palveluntarjoaja

Palveluntarjoajan katkaisinKun palveluntarjoaja on epäterve, combo-reititys ohittaa sen, kunnes puoliavoin koetin onnistuu.

Yhteyden jäähdytysJäähdytä yksi avain tai tili, kun rinnakkaiset yhteydet jatkavat palvelemista.

Mallin lukitusLukitse yksi rajoitettu tai saavuttamaton malli, kun yhteyden muut mallit pysyvät käytettävissä.

Verkon ja paikallisen datan hallinta

Verkon reititys ja paikallisen datan hallinta.

Proxy-laajuudet ohjaavat verkon reititystä, ja paikallinen tallennus pitää operatiivisen datan omalla koneellasi.

Kolme proxy-laajuutta

Reititä globaalisti, palveluntarjoajakohtaisesti tai yhteyskohtaisesti.

Globaali · palveluntarjoajakohtainen · yhteyskohtainen
SOCKS5- ja HTTP(S)-proxyt
Proxy-markkinapaikan integraatio

TLS- ja asiakasohjelman sormenjäljen hallinta

Vastaa tuettuja palveluntarjoajien asiakasohjelmia valittuja siirtokerroksen ominaisuuksia myöten.

JA3/JA4-kykyinen siirtokerros wreq-js:n kautta
Palveluntarjoajakohtaiset asiakasprofiilit
IPv4- ja IPv6-lähtöliikenteen hallinta

Yksityinen ja paikallinen

Avaimet, käyttö ja historia pysyvät hallitsemallasi isäntäkoneella.

SQLite levyllä, tunnukset salattu AES-256-GCM:llä
OmniRoute-tiliä ei tarvita
Isännöi itse valitsemassasi infrastruktuurissa

VenäjäKiinaIranKuubaTurkki