OmniRouteby Cheaper Inference
OmniRoute imejiunga na Cheaper InferenceGundua Cheaper Inference

#1 Router ya AI ya Chanzo Huria

Elekeza maombi kwa watoa huduma 352 kupitia endpoint moja inayooana na OpenAI, ikiwa na fallback otomatiki.

Jaribu Cheaper InferenceEndesha OmniRoute mwenyewe (hufungua katika kichupo kipya)
Inaoana na OpenAI Huria na ya bure77.2k stars (hufungua katika kichupo kipya)

OmniRoute × Cheaper Inference

Unganisha fallback otomatiki na zana za wasanidi za OmniRoute na soko la Cheaper Inference lililopangwa kwa gharama. Kila ombi stahiki huanza na njia ya mtoa huduma ya bei nafuu zaidi inayopatikana.

Modeli 97Bei ya orodha ya moja kwa moja ikilinganishwa na bei ya Cheaper Inference
Bei za orodha za moja kwa moja zikilinganishwa na bei za Cheaper Inference kwa modeli
ModeliBei ya ingizoBei ya matokeoAkibaMuktadhaMaelezo
gpt-5.6-lunaOpenAI · text$0.20$0.08/ 1M tokens$1.20$0.48/ 1M tokensPunguzo la 60%1.1M
gpt-5.6-terraOpenAI · text$2.00$0.80/ 1M tokens$12.00$4.80/ 1M tokensPunguzo la 60%1.1M
gpt-oss-120bOpenAI · text$0.10$0.040483/ 1M tokens$0.50$0.202417/ 1M tokensPunguzo la 59.52%128K
deepseek-v4.1-flashDeepSeek · text$0.15$0.075/ 1M tokens$0.60$0.30/ 1M tokensPunguzo la 50%1.0M
gpt-5.6-solOpenAI · text$4.00$2.00/ 1M tokens$20.00$10.00/ 1M tokensPunguzo la 50%1.1M
glm-4.5Z.ai · text$0.60$0.33/ 1M tokens$2.20$1.21/ 1M tokensPunguzo la 45%128K
glm-4.6Z.ai · text$0.60$0.33/ 1M tokens$2.20$1.21/ 1M tokensPunguzo la 45%198K
glm-4.7Z.ai · text$0.60$0.33/ 1M tokens$2.20$1.21/ 1M tokensPunguzo la 45%128K
Inaonyesha modeli 8 kati ya 97
Bei ya orodha ya moja kwa moja → bei ya Cheaper Inference · Vinjari kila modeli · Tazama katalogi ya moja kwa moja (hufungua katika kichupo kipya)Bei zilikaguliwa 14 Okt 2026, 14:00 UTC. Viwango vinaweza kubadilika wakati bei za upstream au njia zinazopatikana zinabadilika.

Vidhibiti vya msingi

Endpoint moja kwa watoa huduma uliowasanidi.

Core control

Weka maombi yakisonga

Lengo linapokosekana au kuishiwa kiwango, OmniRoute huchagua lengo linalofuata lenye afya.

Core control

Bana muktadha stahiki

Mfumo wa injini 12 hupunguza muktadha stahiki kwa 15–95%. Mfano ulioandikwa wenye zana nyingi uliupunguza kwa ~89%.

Core control

Anza kwa $0

Viwango vya bure 90+ na watoa huduma 56 wa bure daima, wanaojirudia au wasiohitaji key. Hakuna kadi ya mkopo inayohitajika kwa kuanza haraka bila key.

Core control

Miunganisho 35 inayotumika

Sanidi Claude Code, Codex, Cursor, Cline, Copilot, Antigravity na wateja wengine wanaotumika kupitia endpoint moja.

Core control

Endpoint moja

Pokea maombi ya OpenAI, Claude, Gemini na Responses API kwenye /v1.

Core control

Vidhibiti vya uendeshaji

Circuit breakers, vitambulisho vilivyosimbwa, MCP, A2A, kumbukumbu, guardrails na evals huja na gateway inayojihudumia.

Katalogi

Zote nyuma ya endpoint moja.

Katalogi inayojumuisha gumzo, media, utafutaji, runtimes za ndani, ajenti wa wingu na miunganisho ya mfumo.

Watoa huduma 352

Kila mmoja wao, nyuma ya endpoint moja ya ndani.

Endpoint moja ambayo kila mteja huielekeahttp://localhost:20128/v1

14 Search12 Audio-only2 Upstream proxy3 Cloud agent1 System
OpenAIAnthropicGoogleDeepSeekxAIZ.aiMoonshotMiniMaxAlibabaMetaBytedanceAion Labs
25OAuthClaude Code, Codex, Cursor, GitHub Copilot, Kimi Code…
233API keyOpenAI, Anthropic, Groq, NVIDIA, Cerebras, Mistral…
35Kuki ya wavutiChatGPT Web, Claude Web, Gemini Web, Grok Web…
14Ya ndaniOllama, LM Studio, vLLM, llama.cpp…
13Bila uthibitishajiOpenCode Free, Felo, Pollinations na njia nyingine zisizohitaji key…
Gundua marejeleo ya watoa huduma (opens in a new tab)

Anza haraka

Sakinisha, endesha, unganisha.

Sakinisha kifurushi, anzisha gateway, kisha elekeza mteja yeyote anayeoana na OpenAI kwenye port 20128.

Katalogi ya watoa huduma
352
Mikakati ya routing
19
Endpoint ya ndani
:20128/v1

Step 1: Sakinisha

Sakinisha kifurushi cha npm cha omniroute kwa mfumo mzima.

omniroute: install
$ npm install -g omnirouteadded 1 package

Step 2: Endesha

Anzisha API na dashibodi pamoja kwenye port 20128.

omniroute: run
$ omniroute▸ dashboard ✓ http://localhost:20128/dashboard▸ api ...... ✓ serving on :20128

Step 3: Unganisha zana yako

Tumia http://localhost:20128/v1; njia ya auto isiyohitaji key hufanya kazi kwenye usakinishaji mpya.

omniroute: connect
$ curl localhost:20128/v1/models✓ models listed

Vidhibiti vya gateway

Vidhibiti vya msingi vya gateway katika mchakato mmoja.

Sanidi fallback, kiwango, ubanaji, kumbukumbu, MCP na A2A kutoka dashibodi ya ndani.

Gateway control

Smart Combos

Weka modeli kuwa auto au unda combo yako kwa mikakati 19 na fallback ya ngazi.

Tumia hali iliyo tayari au unganisha mikakati 19 kuzunguka lengo muhimu.

Gateway control

Kumbukumbu

Kumbukumbu ya mazungumzo inayodumu, ikiwa na maneno muhimu ya FTS5 na urejeshaji wa vekta wa Qdrant.

Gateway control

Ustahimilivu wa tabaka 3

Breaker ya mtoa huduma, cooldown ya muunganisho na lockout ya modeli hutenga hitilafu katika upeo mdogo unaofaa.

Gateway control

Kiwango cha bure

Uhesabuji usiorudufu kwenye viwango vya bure 90+.

Uwezo wa viwango vya bure uliochapishwa, bila marudio.

Gateway control

Ubanaji

Injini 12 zinazoweza kuunganishwa kwa matokeo ya zana, muktadha na mtindo wa majibu.

Punguza tokeni stahiki kwa 15–95%.

Gateway control

Seva ya MCP

Seva iliyojengwa ndani inayotoa zana 110 za gateway katika upeo 33.

zana 110 · upeo 33 · stdio / HTTP

Gateway control

Itifaki ya A2A

Seva ya ajenti ya JSON-RPC yenye ujuzi 6.

ujuzi 6 · JSON-RPC 2.0 · Agent Card

Gateway control

Cache ya kisemantiki

Ombi linalorudiwa linaweza kurudi kutoka cache, na header ya majibu huripoti kilichookolewa.

X-OmniRoute-Cache: HIT

Uoanifu wa wateja

Endelea na zana zako za kuandika code.

Elekeza CLI au kihariri kinachooana na OpenAI kwenye base URL moja ya ndani; OmniRoute hushughulikia watoa huduma nyuma yake.

Claude Code
Codex CLI
Cursor
Cline
GitHub Copilot
Gemini CLI
OpenCode
Kilo Code
Factory Droid
Continue
Roo Code
Antigravity
Aider
OpenClaw
Goose
Grok Build
Windsurf
Devin CLI

http://localhost:20128/v1

request.sh
curl http://localhost:20128/v1/chat/completions \
  -H "Authorization: Bearer $OMNIROUTE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Hello"}]}'

OmniCopilot

Tumia modeli za OmniRoute katika Copilot Chat.

OmniCopilot huongeza modeli za OmniRoute kwenye kichaguzi cha modeli kilichopo.

Marketplace Rasmi

Hufanya kazi katika VS Code stable na Insiders. Sakinisha kutoka Marketplace au mwonekano wa Extensions.

Open VSX Registry

Kwa Cursor, Windsurf, VSCodium, Theia, code-server, Gitpod na vihariri vingine vinavyooana.

Hakuna mpango wa Copilot unaohitajika

Modeli za watoa huduma zinaweza kuendeshwa kupitia OmniRoute katika Copilot Chat bila kupitisha inference kwenye mpango wa Copilot.

VS Code Marketplace (hufungua katika kichupo kipya)Open VSX Registry (hufungua katika kichupo kipya)OmniCopilot source (hufungua katika kichupo kipya)

Hitilafu za kawaida

Kwa nini OmniRoute

Ona kidhibiti kinachoshughulikia kila hitilafu ya kawaida.

Without routing
With OmniRoute
Kiwango huisha muda bila kutumika
Fuatilia na utumie kiwango ulicho nacho tayari
Rate limits hukusimamisha katikati ya kazi
Fallback otomatiki ya ngazi 4 kwa milisekunde
Matokeo ya zana huteketeza tokeni
Ubanaji wa injini 12, 15–95% kwenye maudhui stahiki
API za gharama hujumlika
Routing iliyoboreshwa kwa gharama inaweza kuchagua lengo stahiki la bei nafuu zaidi
Kila zana inahitaji usanidi wake
Endpoint moja na dashibodi moja
Mtoa huduma hapatikani kutoka mtandao wako
Upeo wa proxy na vidhibiti vya alama za mteja
Key moja iliyokufa huvunja mtoa huduma
Breaker, cooldown na lockout hutenga hitilafu
Timu hushiriki usajili mmoja
Key pools na viwango vya mgawanyo sawa
Unahitaji udhibiti wa ndani wa data ya routing
Hifadhi ya ndani kwanza na vitambulisho vilivyosimbwa
Hakuna mwonekano wa matumizi au afya
Uchanganuzi wa matumizi, kiwango, akiba na latency

Picha ya nyaraka

Jinsi gateways zinavyolinganishwa

Uwezo ulikaguliwa dhidi ya nyaraka za mradi zilizounganishwa mnamo 2026-08-30.

UwezoOmniRoute (hufungua katika kichupo kipya)9Router (hufungua katika kichupo kipya)LiteLLM (hufungua katika kichupo kipya)CLIProxyAPI (hufungua katika kichupo kipya)
Watoa huduma35240+100+8+ upstreams
Mikakati ya routing193-tierretry / priorityround-robin / fill-first
Fallback ya ngazi yenye UIYesYesManual policyMulti-account
Ubanaji wa tokeni12 engines · 15–95%RTK / Headroom / CavemanNo built-in pipelineHTTP compression

Picha ya README ya umma na nyaraka rasmi; thibitisha vyanzo vilivyounganishwa kabla ya maamuzi ya kununua au kuweka.

Uwekaji

Njia 9 zinazotumika za kuendesha OmniRoute.

Isakinishe kwenye laptop, seva au simu, au unganisha kupitia kihariri na plugin inayotumika.

npm

Amri moja kwenye OS yoyote ya desktop inayotumika

npm install -g omnirouteFungua mwongozo (hufungua katika kichupo kipya)

Docker

Image ya multi-arch ya AMD64 na ARM64

docker run … diegosouzapw/omnirouteFungua mwongozo (hufungua katika kichupo kipya)

Desktop

Dirisha asilia na system tray kwenye Windows, macOS na Linux

npm run electron:buildFungua mwongozo (hufungua katika kichupo kipya)

ARM

Raspberry Pi, seva za ARM na Apple Silicon

native arm64

Android · Termux

Huendeshwa kwenye Android bila root

pkg install nodejs && npx -y omnirouteFungua mwongozo (hufungua katika kichupo kipya)

PWA

Skrini nzima, tayari nje ya mtandao na inaweza kusakinishwa kutoka kivinjari

Add to Home ScreenFungua mwongozo (hufungua katika kichupo kipya)

OpenCode plugin

Plugin asilia ya mtoa huduma ya OpenCode

@omniroute/opencode-providerFungua mwongozo (hufungua katika kichupo kipya)

VS Code

Modeli za OmniRoute katika kichaguzi cha Copilot Chat

Install OmniCopilotFungua mwongozo (hufungua katika kichupo kipya)

From source

Iendeleze na uchangie

npm install && npm run devFungua mwongozo (hufungua katika kichupo kipya)

Routing

Chagua njia ya auto.

Tumia hali iliyo tayari au unganisha mikakati 19 kuzunguka lengo muhimu.

Modeli · fallback imewashwaautoBalanced default
Ombi linalooana na OpenAI
curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Routing alias auto selected. Objective: Balanced default. Fallback enabled.

Tumia kiwango cha usajili

Tumia kiwango ulicho nacho tayari kabla ya kugusa API za kulipia.

priority · fill-first

Sambaza mzigo

Sawazisha trafiki kwenye keys na akaunti kupunguza shinikizo la rate-limit.

weighted · round-robin · p2c · least-used · headroom

Nafuu zaidi kwanza

Elekeza kwenye lengo stahiki la gharama ya chini zaidi.

cost-optimized

Inayozingatia muktadha

Weka miktadha mirefu kwenye modeli zinazotosha, kisha pitisha inapohitajika.

context-relay · context-optimized · cache-optimized

Nasibu

Sambaza trafiki stahiki kwenye malengo.

random · strict-random

Alama zinazobadilika

Tumia alama za vipengele 15, last-known-good na madirisha yanayozingatia reset.

reset-window · reset-aware · lkgp · auto · fusion · pipeline

Uhesabuji wa viwango vya bure

Uwezo wa viwango vya bure uliochapishwa, bila marudio.

Maingizo 455 ya katalogi hupunguzwa marudio hadi pools 40 zinazojirudia; bajeti chanya zilizochapishwa pekee huchangia kichwa cha habari.

1.51B

Uhesabuji usiorudufu pools huzuia viwango vinavyoshirikiwa kuhesabiwa zaidi ya mara moja. Watoa huduma wasio na kikomo hubaki wakionekana bila kuongeza jumla ya tokeni. Checked 2026-08-30.

Tazama hesabu (hufungua katika kichupo kipya)
Watoa huduma wa bure daima, wanaojirudia au wasiohitaji key56
  • Mistral1B/month
  • LLM7150M/month
  • Nara150M/month
  • Gemini CLI · forever60M/month
  • Kiro50 credits/month
  • Qoder · foreverFree catalog
  • LongCat · forever50M/day
  • Cerebras1M/day
  • NVIDIA NIM~40 RPM
  • Pollinations · foreverNo key
  • Cloudflare Workers AI · foreverDaily neurons
  • OpenCode Free · foreverNo-auth catalog

Ubanaji wa muktadha

Punguza tokeni stahiki kwa 15–95%.

Matokeo ya zana, muktadha unaorudiwa na data iliyopangwa iliyovimba yanaweza kubanwa kabla ya kufika kwenye modeli.

Muktadha umepunguzwa kwa 15–95% kwenye tokeni stahiki

Kabla: The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total. Baada: sum all list items where value > 0

  1. Session-Dedup
  2. CCR
  3. Lite
  4. RTK
  5. Responses Tool Output
  6. Headroom
  7. Relevance
  8. Caveman
  9. Aggressive
  10. LLMLingua-2
  11. Ultra
  12. OmniGlyph

Maagizo yale yale. Muktadha mdogo wa kulipia.

Kabla69 tokens
The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.
Baada19 tokens
sum all list items where value > 0

Pipeline inayoweza kuunganishwa

  1. Session-Dedup
    Ondoa maudhui yaliyotumwa tayari mapema katika kipindi.
  2. CCR
    Hifadhi vipande vikubwa na uvirejeshe vinapohitajika.
  3. Lite
    Tumia usafishaji wa tahadhari usiopoteza data.
  4. RTK
    Chuja na uondoe marudio ya matokeo ya amri na zana.
  5. Responses Tool Output
    Bana payloads za zana za Responses API.
  6. Headroom
    Tumia ubanaji unaoweza kurejeshwa wa data ya jedwali na iliyopangwa.
  7. Relevance
    Weka sentensi zinazohusiana zaidi na hoja ya hivi karibuni.
  8. Caveman
    Tumia ufupishaji wa maandishi unaotegemea kanuni.
  9. Aggressive
    Tumia upogoaji mkali zaidi uliosanidiwa.
  10. LLMLingua-2
    Tumia upogoaji wa kisemantiki salama kwa code katika worker iliyotengwa.
  11. Ultra
    Unganisha hatua za akiba kubwa na ulinzi wa uhifadhi.
  12. OmniGlyph
    Simba miundo stahiki inayorudiwa kwa ufupi.

Profaili

Kiwango cha profaili kilichochapishwa~30%x-omniroute-compression: standard

Ubanaji wa Standard umechaguliwa. Kiwango kilichochapishwa ~30%.

Vidhibiti na mitindo ya matokeo

  • Profaili zenye majina na kichaguzi kinachotumika
  • Visual Compression Studio
  • Anthropic Context Editing
  • Kidhibiti cha bajeti ya muktadha kinachobadilika
  • Kwa kila ombi \
  • header
  • Harness ya eval ya nje ya mtandao
  • Kichocheo otomatiki cha kizingiti cha tokeni
  • Terse prose
  • Less code (YAGNI)
  • Terse CJK 文言

Kipaumbele cha udhibiti: header ya ombi → combo → profaili → sera inayobadilika → chaguo-msingi.

Kutenga hitilafu

Tenga hitilafu za mtoa huduma, muunganisho na modeli.

Key mbaya haipaswi kuua mtoa huduma. Modeli iliyowekewa kikomo haipaswi kuua muunganisho.

modeli ⊂ muunganisho ⊂ mtoa huduma
Circuit breaker ya mtoa hudumaMtoa huduma anapokuwa hana afya, routing ya combo humruka hadi jaribio la half-open lifanikiwe.
Cooldown ya muunganishoPumzisha key au akaunti moja huku miunganisho mingine ikiendelea kuhudumia.
Lockout ya modeliFunga modeli moja iliyowekewa rate-limit au isiyopatikana huku modeli nyingine kwenye muunganisho zikibaki zinapatikana.

Vidhibiti vya mtandao

Routing ya mtandao na vidhibiti vya data ya ndani.

Upeo wa proxy hudhibiti routing ya mtandao huku hifadhi ya ndani kwanza ikiweka data ya uendeshaji kwenye mashine yako.

Upeo tatu wa proxy

Elekeza kwa ujumla, kwa kila mtoa huduma au kwa kila muunganisho mmoja mmoja.

  • Kwa ujumla · kwa mtoa huduma · kwa muunganisho
  • Proxy za SOCKS5 na HTTP(S)
  • Muunganisho wa soko la proxy

Vidhibiti vya alama za TLS na mteja

Linganisha wateja wa watoa huduma wanaotumika hadi sifa teule za usafirishaji.

  • Usafirishaji unaowezesha JA3/JA4 kupitia wreq-js
  • Profaili za mteja mahususi kwa mtoa huduma
  • Vidhibiti vya utokaji vya IPv4 na IPv6

Faragha na ndani kwanza

Keys, matumizi na historia hubaki kwenye host unayodhibiti.

  • SQLite kwenye diski na vitambulisho vilivyosimbwa kwa AES-256-GCM
  • Hakuna akaunti ya OmniRoute inayohitajika
  • Jihudumie kwenye miundombinu unayochagua
UrusiUchinaIranKubaUturuki

Dashibodi ya ndani

Sanidi OmniRoute bila kuhariri YAML.

Dhibiti watoa huduma, combos, uchanganuzi, afya na gharama kwenye localhost:20128/dashboard.

localhost:20128/dashboardData ya mfano
352watoa huduma waliounganishwa
90+viwango vya bure vinavyopatikana
198wenye afya katika mfano huu
  • Claude Code · OAuth · hai
  • Cerebras · bure · hai
  • Groq · mfano wa cooldown
  • NVIDIA NIM · bure · hai

Itifaki za ajenti

Toa OmniRoute kupitia MCP na A2A.

OmniRoute inaweza kutoa gateway yake kwa wateja wa MCP, mitandao ya A2A na ajenti wa coding wa wingu wanaotumika.

Seva ya MCP

Zana 110 katika upeo 33 kupitia usafirishaji wa stdio na HTTP.

zana 110 · upeo 33 · stdio / HTTP

claude mcp add omniroute --type http --url http://localhost:20128/api/mcp/stream

Seva ya A2A

Ujuzi 6 kwa routing mahiri, kiwango, ugunduzi, uchanganuzi wa gharama na ripoti za afya kupitia JSON-RPC 2.0.

ujuzi 6 · JSON-RPC 2.0 · Agent Card

Ajenti wa wingu

Unganisha mitiririko ya kazi ya Codex, Cursor, Devin na Jules inayotumika kupitia uso mmoja wa uratibu.

Codex · Cursor · Devin · Jules

Huduma za ziada

Panua gateway.

Huduma zilizopachikwa

Endesha Bifrost, 9Router au CLIProxy kama sidecars zinazosimamiwa, au endesha profaili kamili ya cluster.

Maarifa yako, katika muktadha

Unganisha Notion na Obsidian kama vyanzo vya muktadha vinavyotegemea MCP.

Guardrails zilizojengwa ndani

Ukaguzi wa prompt-injection, uondoaji wa PII wa hiari na vichujio vya usalama vilivyosawazishwa bila kufungwa kwa mtoa huduma.

Malengo ya matumizi

Fuatilia mfululizo, mafanikio na akiba ya moja kwa moja pamoja na uchanganuzi wa uendeshaji.

Kutoka jumuiya

Jinsi OmniRoute inavyotumika na kujadiliwa.

Ona wasanidi programu wanachojenga, kuuliza na kushiriki kwenye X, Reddit na YouTube.

Video 32 kutoka channels 32Ona video zote 32 za jumuiya

Profile picture of Peng
Peng@pengsonal
Link to tweet (opens in a new tab)
one local endpoint for cursor / cline / claude code / copilot 😳 OmniRoute (24.7k★ on GitHub) runs a self-hosted router on your machine so you only need one base URL for all your coding agents. wha…

25 posts from X · 25 Reddit postsOna kila chapisho

Imejengwa kwa uwazi

Shughuli za repository

Ona stars, forks, wachangiaji na matoleo kutoka picha ya GitHub iliyohifadhiwa.

  • 11,169forks
  • 832wachangiaji
  • 281matoleo yaliyotolewa
  • 8,942PRs zilizounganishwa
  • 5,072issues zilizofungwa
  • 30,000majaribio otomatiki

Picha kutoka 2026-10-16

Discord

Gumzo, usaidizi na ramani ya njia

(hufungua katika kichupo kipya)

Telegram

Habari na matangazo

(hufungua katika kichupo kipya)

WhatsApp 🌍

Jumuiya ya kimataifa

(hufungua katika kichupo kipya)

WhatsApp 🇧🇷

Comunidade Brasil

(hufungua katika kichupo kipya)
Kutana na wachangiaji (hufungua katika kichupo kipya)

OmniRoute kutoka Cheaper Inference

Chagua jinsi unavyoendesha OmniRoute.

Jihudumie OmniRoute, au anza na Cheaper Inference kwa gateway inayohudumiwa na kupangwa kwa gharama.

Jaribu Cheaper Inference Endesha OmniRoute mwenyewe (hufungua katika kichupo kipya)