OmniRouteby Cheaper Inference
OmniRoute s-a alăturat Cheaper InferenceDescoperă Cheaper Inference

#1 Router AI open source

Rutează prin 352 furnizori printr-un singur endpoint compatibil OpenAI, cu fallback automat.

Încearcă Cheaper InferenceGăzduiește OmniRoute pe cont propriu (se deschide într-o filă nouă)
Compatibil OpenAI Gratuit și open source77.5k stele (se deschide într-o filă nouă)

OmniRoute × Cheaper Inference

Combină fallback-ul automat și tool-urile pentru dezvoltatori din OmniRoute cu marketplace-ul ordonat după cost al Cheaper Inference. Fiecare cerere eligibilă pornește de la cea mai ieftină rută de furnizor disponibilă.

97 modelePrețul de listă direct comparat cu prețul Cheaper Inference
Prețuri de listă directe comparate cu prețurile Cheaper Inference, pe model
ModelPreț inputPreț outputEconomiiContextDetalii
gpt-5.6-lunaOpenAI · text$0.20$0.08/ 1M tokens$1.20$0.48/ 1M tokens60% reducere1.1M
gpt-5.6-terraOpenAI · text$2.00$0.80/ 1M tokens$12.00$4.80/ 1M tokens60% reducere1.1M
gpt-oss-120bOpenAI · text$0.10$0.040483/ 1M tokens$0.50$0.202417/ 1M tokens59.52% reducere128K
deepseek-v4.1-flashDeepSeek · text$0.15$0.075/ 1M tokens$0.60$0.30/ 1M tokens50% reducere1.0M
gpt-5.6-solOpenAI · text$4.00$2.00/ 1M tokens$20.00$10.00/ 1M tokens50% reducere1.1M
glm-4.5Z.ai · text$0.60$0.33/ 1M tokens$2.20$1.21/ 1M tokens45% reducere128K
glm-4.6Z.ai · text$0.60$0.33/ 1M tokens$2.20$1.21/ 1M tokens45% reducere198K
glm-4.7Z.ai · text$0.60$0.33/ 1M tokens$2.20$1.21/ 1M tokens45% reducere128K
Se afișează 8 din 97 modele
Preț de listă direct → preț Cheaper Inference · Răsfoiește toate modelele · Vezi catalogul live (se deschide într-o filă nouă)Prețuri verificate 14 oct. 2026, 14:00 UTC. Tarifele se pot schimba când se schimbă prețurile upstream sau rutele disponibile.

Controale de bază

Un singur endpoint pentru furnizorii configurați.

Core control

Cererile merg mai departe

Când o țintă este indisponibilă sau fără cotă, OmniRoute alege următoarea țintă funcțională.

Core control

Comprimă contextul eligibil

Un pipeline cu 12 motoare reduce contextul eligibil cu 15–95%. Exemplul documentat cu multe tool-uri l-a redus cu ~89%.

Core control

Începi cu $0

90+ niveluri gratuite și 56 furnizori gratuiți permanent, recurenți sau fără cheie. Fără card de credit pentru pornirea rapidă fără cheie.

Core control

35 integrări suportate

Configurează Claude Code, Codex, Cursor, Cline, Copilot, Antigravity și alți clienți suportați printr-un singur endpoint.

Core control

Un singur endpoint

Acceptă cereri OpenAI, Claude, Gemini și Responses API la /v1.

Core control

Controale operaționale

Circuit breakers, credențiale criptate, MCP, A2A, memorie, guardrails și evaluări vin incluse în gateway-ul self-hosted.

Catalogul

Toți în spatele unui singur endpoint.

Un catalog care acoperă chat, media, căutare, runtime-uri locale, agenți cloud și integrări de sistem.

352 furnizori

Toți, în spatele unui singur endpoint local.

Endpoint-ul unic către care arată fiecare clienthttp://localhost:20128/v1

14 Search12 Audio-only2 Upstream proxy3 Cloud agent1 System
OpenAIAnthropicGoogleDeepSeekxAIZ.aiMoonshotMiniMaxAlibabaMetaBytedanceAion Labs
25OAuthClaude Code, Codex, Cursor, GitHub Copilot, Kimi Code…
233Cheie APIOpenAI, Anthropic, Groq, NVIDIA, Cerebras, Mistral…
35Cookie webChatGPT Web, Claude Web, Gemini Web, Grok Web…
14LocalOllama, LM Studio, vLLM, llama.cpp…
13Fără autentificareOpenCode Free, Felo, Pollinations și alte rute fără cheie…
Explorează referința furnizorilor (opens in a new tab)

Pornire rapidă

Instalează, rulează, conectează.

Instalează pachetul, pornește gateway-ul, apoi îndreaptă orice client compatibil OpenAI către portul 20128.

Catalog de furnizori
352
Strategii de rutare
19
Endpoint local
:20128/v1

Step 1: Instalează

Instalează global pachetul npm omniroute.

omniroute: install
$ npm install -g omnirouteadded 1 package

Step 2: Rulează

Pornește API-ul și dashboard-ul împreună pe portul 20128.

omniroute: run
$ omniroute▸ dashboard ✓ http://localhost:20128/dashboard▸ api ...... ✓ serving on :20128

Step 3: Conectează-ți tool-ul

Folosește http://localhost:20128/v1; ruta auto fără cheie funcționează pe o instalare nouă.

omniroute: connect
$ curl localhost:20128/v1/models✓ models listed

Controale gateway

Controalele de bază ale gateway-ului într-un singur proces.

Configurează fallback, cotă, compresie, memorie, MCP și A2A din dashboard-ul local.

Gateway control

Combo-uri inteligente

Setează un model pe auto sau construiește propriul combo cu 19 strategii și fallback pe niveluri.

Folosește un mod predefinit sau combină 19 strategii în jurul obiectivului care contează.

Gateway control

Memorie

Memorie conversațională persistentă cu căutare FTS5 pe cuvinte-cheie și recall vectorial Qdrant.

Gateway control

Reziliență pe 3 niveluri

Breaker per furnizor, cooldown per conexiune și blocare per model izolează erorile la cel mai mic nivel util.

Gateway control

Cotă gratuită

Contabilizare deduplicată pe pool-uri pentru 90+ niveluri gratuite.

Capacitate gratuită publicată, deduplicată.

Gateway control

Compresie

12 motoare combinabile pentru output-ul tool-urilor, context și stilul răspunsului.

Reduce tokenii eligibili cu 15–95%.

Gateway control

Server MCP

Un server integrat care expune 110 tool-uri de gateway în 33 scope-uri.

110 tool-uri · 33 scope-uri · stdio / HTTP

Gateway control

Protocol A2A

Un server de agenți JSON-RPC cu 6 skill-uri.

6 skill-uri · JSON-RPC 2.0 · Agent Card

Gateway control

Cache semantic

O cerere repetată poate fi servită din cache, iar header-ul de răspuns arată cât s-a economisit.

X-OmniRoute-Cache: HIT

Compatibilitate clienți

Păstrează-ți tool-urile de programare existente.

Îndreaptă un CLI sau editor compatibil OpenAI către un singur URL de bază local; OmniRoute se ocupă de furnizorii din spate.

Claude Code
Codex CLI
Cursor
Cline
GitHub Copilot
Gemini CLI
OpenCode
Kilo Code
Factory Droid
Continue
Roo Code
Antigravity
Aider
OpenClaw
Goose
Grok Build
Windsurf
Devin CLI

http://localhost:20128/v1

request.sh
curl http://localhost:20128/v1/chat/completions \
  -H "Authorization: Bearer $OMNIROUTE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Hello"}]}'

OmniCopilot

Folosește modelele OmniRoute în Copilot Chat.

OmniCopilot adaugă modelele OmniRoute în selectorul de modele existent.

Marketplace oficial

Funcționează în VS Code stable și Insiders. Instalează din Marketplace sau din panoul Extensions.

Open VSX Registry

Pentru Cursor, Windsurf, VSCodium, Theia, code-server, Gitpod și alte editoare compatibile.

Fără abonament Copilot

Modelele furnizorilor pot rula prin OmniRoute în Copilot Chat fără a trece inferența printr-un abonament Copilot.

VS Code Marketplace (se deschide într-o filă nouă)Open VSX Registry (se deschide într-o filă nouă)OmniCopilot source (se deschide într-o filă nouă)

Probleme frecvente

De ce OmniRoute

Vezi ce control rezolvă fiecare problemă frecventă.

Without routing
With OmniRoute
Cota expiră nefolosită
Urmărește și consumă alocarea pe care o ai deja
Rate limit-urile te opresc în mijlocul lucrului
Auto-fallback pe 4 niveluri, în milisecunde
Output-ul tool-urilor arde tokeni
Compresie cu 12 motoare, 15–95% pe conținutul eligibil
API-urile scumpe se adună
Rutarea optimizată pe cost poate alege cea mai ieftină țintă eligibilă
Fiecare tool are propria configurare
Un endpoint și un dashboard
Un furnizor nu este accesibil din rețeaua ta
Scope-uri de proxy și controale de client fingerprint
O cheie moartă blochează un furnizor
Breaker, cooldown și blocare izolează eroarea
O echipă împarte un singur abonament
Pool-uri de chei și cote fair-share
Ai nevoie de control local asupra datelor de rutare
Stocare local-first cu credențiale criptate
Nicio vizibilitate asupra costurilor sau stării
Analize de utilizare, cotă, economii și latență

Instantaneu din documentație

Cum se compară gateway-urile

Capabilități verificate față de documentația proiectelor indicate la 2026-08-30.

CapabilitateOmniRoute (se deschide într-o filă nouă)9Router (se deschide într-o filă nouă)LiteLLM (se deschide într-o filă nouă)CLIProxyAPI (se deschide într-o filă nouă)
Furnizori35240+100+8+ upstreams
Strategii de rutare193-tierretry / priorityround-robin / fill-first
Fallback pe niveluri cu UIYesYesManual policyMulti-account
Compresie de tokeni12 engines · 15–95%RTK / Headroom / CavemanNo built-in pipelineHTTP compression

Instantaneu al README-ului public și al documentației oficiale; verifică sursele indicate înainte de decizii de achiziție sau instalare.

Instalare

9 moduri suportate de a rula OmniRoute.

Instalează-l pe laptop, server sau telefon, ori conectează-te printr-un editor și plugin suportat.

npm

O comandă pe orice OS desktop suportat

npm install -g omnirouteDeschide ghidul (se deschide într-o filă nouă)

Docker

Imagine multi-arch AMD64 și ARM64

docker run … diegosouzapw/omnirouteDeschide ghidul (se deschide într-o filă nouă)

Desktop

Fereastră nativă și system tray pe Windows, macOS și Linux

npm run electron:buildDeschide ghidul (se deschide într-o filă nouă)

ARM

Raspberry Pi, servere ARM și Apple Silicon

native arm64

Android · Termux

Rulează pe Android fără root

pkg install nodejs && npx -y omnirouteDeschide ghidul (se deschide într-o filă nouă)

PWA

Fullscreen, funcționează offline și se instalează din browser

Add to Home ScreenDeschide ghidul (se deschide într-o filă nouă)

OpenCode plugin

Plugin nativ de furnizor pentru OpenCode

@omniroute/opencode-providerDeschide ghidul (se deschide într-o filă nouă)

VS Code

Modelele OmniRoute în selectorul Copilot Chat

Install OmniCopilotDeschide ghidul (se deschide într-o filă nouă)

From source

Modifică-l și contribuie

npm install && npm run devDeschide ghidul (se deschide într-o filă nouă)

Rutare

Alege o rută auto.

Folosește un mod predefinit sau combină 19 strategii în jurul obiectivului care contează.

Model · fallback activatautoBalanced default
Cerere compatibilă OpenAI
curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Routing alias auto selected. Objective: Balanced default. Fallback enabled.

Consumă cota abonamentului

Folosește cota pe care o ai deja înainte de a atinge API-urile plătite.

priority · fill-first

Distribuie sarcina

Echilibrează traficul între chei și conturi pentru a reduce presiunea rate limit-urilor.

weighted · round-robin · p2c · least-used · headroom

Cel mai ieftin mai întâi

Rutează către cea mai ieftină țintă eligibilă.

cost-optimized

Conștient de context

Păstrează contextele lungi pe modele care le încap, apoi retransmite când e nevoie.

context-relay · context-optimized · cache-optimized

Aleatoriu

Distribuie traficul eligibil între ținte.

random · strict-random

Scor adaptiv

Folosește scoruri pe 15 factori, last-known-good și ferestre conștiente de reset.

reset-window · reset-aware · lkgp · auto · fusion · pipeline

Contabilizare niveluri gratuite

Capacitate gratuită publicată, deduplicată.

455 intrări din catalog sunt deduplicate în 40 pool-uri recurente; doar bugetele pozitive publicate intră în cifra principală.

1.51B

Contabilizarea deduplicată pe pool-uri împiedică numărarea cotelor partajate de mai multe ori. Furnizorii fără plafon rămân vizibili fără a umfla totalul de tokeni. Checked 2026-08-30.

Vezi calculul (se deschide într-o filă nouă)
Furnizori gratuiți permanent, recurenți sau fără cheie56
  • Mistral1B/month
  • LLM7150M/month
  • Nara150M/month
  • Gemini CLI · forever60M/month
  • Kiro50 credits/month
  • Qoder · foreverFree catalog
  • LongCat · forever50M/day
  • Cerebras1M/day
  • NVIDIA NIM~40 RPM
  • Pollinations · foreverNo key
  • Cloudflare Workers AI · foreverDaily neurons
  • OpenCode Free · foreverNo-auth catalog

Compresia contextului

Reduce tokenii eligibili cu 15–95%.

Output-ul tool-urilor, contextul repetat și datele structurate umflate pot fi comprimate înainte să ajungă la model.

Context redus cu 15–95% din tokenii eligibili

Înainte: The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total. După: sum all list items where value > 0

  1. Session-Dedup
  2. CCR
  3. Lite
  4. RTK
  5. Responses Tool Output
  6. Headroom
  7. Relevance
  8. Caveman
  9. Aggressive
  10. LLMLingua-2
  11. Ultra
  12. OmniGlyph

Aceeași instrucțiune. Mai puțin context de plătit.

Înainte69 tokens
The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.
După19 tokens
sum all list items where value > 0

Pipeline combinabil

  1. Session-Dedup
    Elimină conținutul deja trimis mai devreme în sesiune.
  2. CCR
    Arhivează blocurile mari și le restaurează la cerere.
  3. Lite
    Aplică o curățare conservatoare, fără pierderi.
  4. RTK
    Filtrează și deduplică output-ul comenzilor și al tool-urilor.
  5. Responses Tool Output
    Compactează payload-urile de tool-uri Responses API.
  6. Headroom
    Aplică compactare reversibilă pentru date tabelare și structurate.
  7. Relevance
    Păstrează propozițiile cele mai relevante pentru ultima interogare.
  8. Caveman
    Condensează proza pe bază de reguli.
  9. Aggressive
    Aplică o tăiere configurată mai agresivă.
  10. LLMLingua-2
    Tăiere semantică sigură pentru cod, într-un worker izolat.
  11. Ultra
    Combină etape cu economii mari cu gărzi de conservare.
  12. OmniGlyph
    Codifică compact structurile repetate eligibile.

Profiluri

Interval publicat al profilului~30%x-omniroute-compression: standard

Compresie Standard selectată. Interval publicat ~30%.

Controale și stiluri de output

  • Profiluri denumite și selector activ
  • Visual Compression Studio
  • Anthropic Context Editing
  • Buton adaptiv de buget de context
  • Header \
  • per cerere
  • Harness de evaluare offline
  • Auto-declanșare la prag de tokeni
  • Terse prose
  • Less code (YAGNI)
  • Terse CJK 文言

Precedența controalelor: header de cerere → combo → profil → politică adaptivă → implicit.

Izolarea erorilor

Izolează erorile de furnizor, conexiune și model.

O cheie defectă nu ar trebui să doboare un furnizor. Un model limitat nu ar trebui să doboare o conexiune.

model ⊂ conexiune ⊂ furnizor
Circuit breaker per furnizorCând un furnizor nu e funcțional, rutarea combo îl sare până când o sondă half-open reușește.
Cooldown per conexiunePune în pauză o cheie sau un cont, în timp ce conexiunile vecine continuă să servească.
Blocare per modelBlochează un model limitat sau indisponibil, în timp ce celelalte modele de pe conexiune rămân disponibile.

Controale de rețea

Controale de rutare în rețea și date locale.

Scope-urile de proxy controlează rutarea în rețea, iar stocarea local-first păstrează datele operaționale pe mașina ta.

Trei scope-uri de proxy

Rutează global, per furnizor sau per conexiune individuală.

  • Global · per furnizor · per conexiune
  • Proxy-uri SOCKS5 și HTTP(S)
  • Integrare cu marketplace-uri de proxy

Controale TLS și client fingerprint

Imită clienții furnizorilor suportați până la caracteristici de transport selectate.

  • Transport compatibil JA3/JA4 prin wreq-js
  • Profiluri de client specifice furnizorului
  • Controale de egress IPv4 și IPv6

Privat și local-first

Cheile, utilizarea și istoricul rămân pe host-ul pe care îl controlezi.

  • SQLite pe disc cu credențiale criptate AES-256-GCM
  • Nu e nevoie de cont OmniRoute
  • Self-host pe infrastructura pe care o alegi
RusiaChinaIranCubaTurcia

Dashboard local

Configurează OmniRoute fără să editezi YAML.

Gestionează furnizori, combo-uri, analize, stare și costuri la localhost:20128/dashboard.

localhost:20128/dashboardDate de exemplu
352furnizori conectați
90+niveluri gratuite disponibile
198funcționali în acest exemplu
  • Claude Code · OAuth · live
  • Cerebras · gratuit · live
  • Groq · exemplu cooldown
  • NVIDIA NIM · gratuit · live

Protocoale de agenți

Expune OmniRoute prin MCP și A2A.

OmniRoute își poate expune gateway-ul către clienți MCP, rețele A2A și agenți cloud de programare suportați.

Server MCP

110 tool-uri în 33 scope-uri, prin transport stdio și HTTP.

110 tool-uri · 33 scope-uri · stdio / HTTP

claude mcp add omniroute --type http --url http://localhost:20128/api/mcp/stream

Server A2A

6 skill-uri pentru rutare inteligentă, cotă, descoperire, analiză de costuri și raportare de stare prin JSON-RPC 2.0.

6 skill-uri · JSON-RPC 2.0 · Agent Card

Agenți cloud

Conectează fluxurile Codex, Cursor, Devin și Jules suportate printr-o singură suprafață de orchestrare.

Codex · Cursor · Devin · Jules

Servicii suplimentare

Extinde gateway-ul.

Servicii încorporate

Rulează Bifrost, 9Router sau CLIProxy ca sidecar-uri gestionate, sau operează un profil complet de cluster.

Cunoștințele tale, în context

Conectează Notion și Obsidian ca surse de context prin MCP.

Guardrails incluse

Verificări anti prompt-injection, redactare PII opțională și filtre de siguranță normalizate, fără dependență de un furnizor.

Obiective de utilizare

Urmărește serii, realizări și economii în timp real, alături de analizele operaționale.

Din comunitate

Cum este folosit și discutat OmniRoute.

Vezi ce construiesc, întreabă și împărtășesc dezvoltatorii pe X, Reddit și YouTube.

32 videoclipuri de pe 32 canaleVezi toate cele 32 videoclipuri din comunitate

Profile picture of Peng
Peng@pengsonal
Link to tweet (opens in a new tab)
one local endpoint for cursor / cline / claude code / copilot 😳 OmniRoute (24.7k★ on GitHub) runs a self-hosted router on your machine so you only need one base URL for all your coding agents. wha…

25 posts from X · 25 Reddit postsVezi toate postările

Construit în public

Activitatea repository-ului

Vezi stele, fork-uri, contribuitori și release-uri din instantaneul GitHub salvat.

  • 11,226fork-uri
  • 841contribuitori
  • 281release-uri publicate
  • 9,060PR-uri integrate
  • 5,084issue-uri închise
  • 30,000teste automatizate

Instantaneu din 2026-10-17

Discord

Chat, suport și roadmap

(se deschide într-o filă nouă)

Telegram

Noutăți și anunțuri

(se deschide într-o filă nouă)

WhatsApp 🌍

Comunitate globală

(se deschide într-o filă nouă)

WhatsApp 🇧🇷

Comunidade Brasil

(se deschide într-o filă nouă)
Cunoaște contribuitorii (se deschide într-o filă nouă)

OmniRoute by Cheaper Inference

Alege cum rulezi OmniRoute.

Găzduiește OmniRoute pe cont propriu sau începe cu Cheaper Inference pentru un gateway găzduit, ordonat după cost.

Încearcă Cheaper Inference Găzduiește OmniRoute pe cont propriu (se deschide într-o filă nouă)