OmniRoute / Ruting og kontroll

Velg hvordan hver forespørsel beveger seg.

Se rutingstrategier, gratisnivå-regnskap, komprimering, feilisolering og nettverkskontroller.

Se rutingen Prøv Cheaper Inference Tilbake til oversikten

Rutingstrategier

Velg en `auto`-rute eller bygg din egen.

Bruk en ferdig modus eller kombiner 19 strategier rundt målet som betyr noe.

Modell · fallback aktivertautoBalanced default

OpenAI-kompatibel forespørsel

curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Bruk opp abonnementskvoten

Bruk kvoten du allerede har før du rører betalte API-er.

priority · fill-first

Spre lasten

Balanser trafikk på tvers av nøkler og kontoer for å redusere presset fra rategrenser.

weighted · round-robin · p2c · least-used · headroom

Billigst først

Rut til det kvalifiserte målet med lavest kostnad.

cost-optimized

Kontekstbevisst

Hold lange kontekster på modeller som har plass, og videresend ved behov.

context-relay · context-optimized · cache-optimized

Tilfeldig

Fordel kvalifisert trafikk på tvers av mål.

random · strict-random

Adaptiv scoring

Bruk scoring med 15 faktorer, sist kjente fungerende og reset-bevisste vinduer.

reset-window · reset-aware · lkgp · auto · fusion · pipeline

Gratisnivå-regnskap

Omtrent 1.51B publiserte tokens hver måned.

455 katalogoppføringer dedupliseres til 40 gjentakende pooler; bare publiserte positive budsjetter inngår i hovedtallet.

1.51B

Pool-deduplisert regnskap hindrer at delte kvoter telles mer enn én gang. Leverandører uten tak forblir synlige uten å blåse opp tokentotalen. Checked 2026-08-30.

View the calculation

Gjentakende eller nøkkelløse leverandører som er gratis for alltid56

Mistral1B/month
LLM7150M/month
Nara150M/month
Gemini CLI · forever60M/month
Kiro50 credits/month
Qoder · foreverFree catalog
LongCat · forever50M/day
Cerebras1M/day
NVIDIA NIM~40 RPM
Pollinations · foreverNo key
Cloudflare Workers AI · foreverDaily neurons
OpenCode Free · foreverNo-auth catalog

Kontekstkomprimering

Reduser kvalifiserte tokens med 15–95%.

Verktøyutdata, gjentatt kontekst og oppblåste strukturerte data kan komprimeres før de når modellen.

Illustrative Ultra profile example from the audited documentation.

Before69 tokens

The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.

After19 tokens

sum all list items where value > 0

Composable pipeline

Session-Dedup
Dropp innhold som allerede er sendt tidligere i sesjonen.
CCR
Arkiver store blokker og gjenopprett dem ved behov.
Lite
Bruk konservativ, tapsfri opprydding.
RTK
Filtrer og dedupliser kommando- og verktøyutdata.
Responses Tool Output
Komprimer Responses API-verktøylaster.
Headroom
Bruk reversibel komprimering av tabell- og strukturerte data.
Relevance
Behold setningene som er mest relevante for siste spørring.
Caveman
Bruk regelbasert fortetting av prosa.
Aggressive
Bruk sterkere konfigurert beskjæring.
LLMLingua-2
Bruk kodesikker semantisk beskjæring i en isolert worker.
Ultra
Kombiner trinn med høy besparelse med bevaringsvern.
OmniGlyph
Kod kvalifiserte gjentatte strukturer kompakt.

Profiles

Publisert profilområde~30%x-omniroute-compression: standard

Controls and output styles

Navngitte profiler og aktiv velger
Visual Compression Studio
Anthropic Context Editing
Adaptiv kontekstbudsjett-regulator
Per forespørsel \
header
Offline eval-rammeverk
Auto-utløser ved tokengrense
Terse prose
Less code (YAGNI)
Terse CJK 文言

Kontrollprioritet: forespørselsheader → kombo → profil → adaptiv policy → standard.

Feilisolering

Isoler feil i leverandør, tilkobling og modell.

En dårlig nøkkel skal ikke ta ned en leverandør. En begrenset modell skal ikke ta ned en tilkobling.

modell ⊂ tilkobling ⊂ leverandør

Kretsbryter for leverandørNår en leverandør er usunn, hopper komborutingen over den til en halvåpen probe lykkes.

Nedkjøling av tilkoblingKjøl ned én nøkkel eller konto mens søskentilkoblinger fortsetter å levere.

ModellsperreSperr én ratebegrenset eller utilgjengelig modell mens andre modeller på tilkoblingen forblir tilgjengelige.

Nettverk og lokal datakontroll

Nettverksruting og kontroll over lokale data.

Proxy-omfang styrer nettverksrutingen, mens lokal lagring først holder driftsdata på din maskin.

Tre proxy-omfang

Rut globalt, per leverandør eller per enkelt tilkobling.

Globalt · per leverandør · per tilkobling
SOCKS5- og HTTP(S)-proxyer
Integrasjon med proxy-markedsplass

Kontroll over TLS- og klientfingeravtrykk

Match støttede leverandørklienter ned til utvalgte transportegenskaper.

JA3/JA4-kapabel transport via wreq-js
Leverandørspesifikke klientprofiler
Kontroll over IPv4- og IPv6-utgang

Privat og lokalt først

Nøkler, bruk og historikk blir på verten du kontrollerer.

SQLite på disk med AES-256-GCM-krypterte påloggingsdetaljer
Ingen OmniRoute-konto nødvendig
Selvhost på infrastruktur du velger

RusslandKinaIranCubaTyrkia