OmniRoute / Routing i kontrola

Wybierz, jak porusza się każde żądanie.

Sprawdź strategie routingu, rozliczanie darmowych planów, kompresję, izolację awarii i kontrolę sieci.

Sprawdź routing Wypróbuj Cheaper Inference Wróć do przeglądu

Strategie routingu

Wybierz trasę `auto` lub zbuduj własną.

Użyj gotowego trybu lub połącz 19 strategii wokół celu, który ma znaczenie.

Model · fallback włączonyautoBalanced default

Żądanie zgodne z OpenAI

curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Wykorzystaj limit subskrypcji

Zużyj limit, który już masz, zanim sięgniesz po płatne API.

priority · fill-first

Rozłóż obciążenie

Rozdziel ruch między klucze i konta, aby zmniejszyć presję rate limitów.

weighted · round-robin · p2c · least-used · headroom

Najtańszy pierwszy

Kieruj do najtańszego dostępnego celu.

cost-optimized

Świadomy kontekstu

Trzymaj długie konteksty na modelach, które je mieszczą, a w razie potrzeby przekazuj dalej.

context-relay · context-optimized · cache-optimized

Losowy

Rozdzielaj kwalifikujący się ruch między cele.

random · strict-random

Adaptacyjna punktacja

Użyj punktacji z 15 czynnikami, ostatniego sprawnego celu i okien świadomych resetu.

reset-window · reset-aware · lkgp · auto · fusion · pipeline

Rozliczanie darmowych planów

Około 1.51B opublikowanych tokenów każdego miesiąca.

455 wpisów katalogu jest deduplikowanych do 40 odnawialnych pul; do nagłówka trafiają tylko opublikowane dodatnie budżety.

1.51B

Rozliczanie z deduplikacją pul nie liczy współdzielonych limitów więcej niż raz. Dostawcy bez limitu pozostają widoczni, nie zawyżając sumy tokenów. Checked 2026-08-30.

View the calculation

Odnawialni lub bezkluczowi dostawcy darmowi na zawsze56

Mistral1B/month
LLM7150M/month
Nara150M/month
Gemini CLI · forever60M/month
Kiro50 credits/month
Qoder · foreverFree catalog
LongCat · forever50M/day
Cerebras1M/day
NVIDIA NIM~40 RPM
Pollinations · foreverNo key
Cloudflare Workers AI · foreverDaily neurons
OpenCode Free · foreverNo-auth catalog

Kompresja kontekstu

Zmniejsz kwalifikujące się tokeny o 15–95%.

Wyjście narzędzi, powtarzany kontekst i rozdęte dane strukturalne można skompresować, zanim dotrą do modelu.

Illustrative Ultra profile example from the audited documentation.

Before69 tokens

The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.

After19 tokens

sum all list items where value > 0

Composable pipeline

Session-Dedup
Usuń treść wysłaną już wcześniej w sesji.
CCR
Archiwizuj duże bloki i przywracaj je na żądanie.
Lite
Zastosuj ostrożne bezstratne porządkowanie.
RTK
Filtruj i deduplikuj wyjście poleceń i narzędzi.
Responses Tool Output
Kompaktuj ładunki narzędzi Responses API.
Headroom
Zastosuj odwracalną kompakcję danych tabelarycznych i strukturalnych.
Relevance
Zachowaj zdania najbardziej istotne dla ostatniego zapytania.
Caveman
Użyj kondensacji prozy opartej na regułach.
Aggressive
Zastosuj silniejsze skonfigurowane przycinanie.
LLMLingua-2
Użyj bezpiecznego dla kodu przycinania semantycznego w izolowanym workerze.
Ultra
Połącz etapy o dużych oszczędnościach z zabezpieczeniami zachowującymi treść.
OmniGlyph
Koduj zwięźle kwalifikujące się powtarzalne struktury.

Profiles

Opublikowany zakres profilu~30%x-omniroute-compression: standard

Controls and output styles

Nazwane profile i aktywny selektor
Visual Compression Studio
Anthropic Context Editing
Adaptacyjny regulator budżetu kontekstu
Nagłówek \
dla pojedynczego żądania
Harness ewaluacji offline
Auto-wyzwalanie progiem tokenów
Terse prose
Less code (YAGNI)
Terse CJK 文言

Pierwszeństwo sterowania: nagłówek żądania → combo → profil → polityka adaptacyjna → domyślne.

Izolacja awarii

Izoluj awarie dostawcy, połączenia i modelu.

Zły klucz nie powinien wyłączać dostawcy. Ograniczony model nie powinien wyłączać połączenia.

model ⊂ połączenie ⊂ dostawca

Bezpiecznik dostawcyGdy dostawca jest niesprawny, routing combo omija go, aż półotwarta sonda się powiedzie.

Cooldown połączeniaSchładzaj jeden klucz lub konto, podczas gdy sąsiednie połączenia dalej obsługują ruch.

Blokada modeluBlokuj jeden model z rate limitem lub niedostępny, podczas gdy inne modele na połączeniu pozostają dostępne.

Kontrola sieci i lokalnych danych

Routing sieciowy i kontrola lokalnych danych.

Zakresy proxy sterują routingiem sieciowym, a lokalne przechowywanie trzyma dane operacyjne na twojej maszynie.

Trzy zakresy proxy

Kieruj globalnie, per dostawca lub per pojedyncze połączenie.

Globalny · per dostawca · per połączenie
Proxy SOCKS5 i HTTP(S)
Integracja z marketplace proxy

Kontrola odcisku TLS i klienta

Dopasuj wspieranych klientów dostawców aż do wybranych cech transportu.

Transport z obsługą JA3/JA4 przez wreq-js
Profile klientów specyficzne dla dostawcy
Kontrola wyjścia IPv4 i IPv6

Prywatne i lokalne

Klucze, użycie i historia zostają na hoście, który kontrolujesz.

SQLite na dysku z poświadczeniami szyfrowanymi AES-256-GCM
Konto OmniRoute nie jest wymagane
Hostuj samodzielnie na wybranej infrastrukturze

RosjaChinyIranKubaTurcja