OmniRouteby Cheaper Inference
OmniRoute är nu en del av Cheaper InferenceUtforska Cheaper Inference

#1 AI-router med öppen källkod

Routa via 352 leverantörer genom en OpenAI-kompatibel endpoint, med automatisk fallback.

Prova Cheaper InferenceHosta OmniRoute själv (öppnas i en ny flik)
OpenAI-kompatibel Gratis och öppen källkod77.2k stjärnor (öppnas i en ny flik)

OmniRoute × Cheaper Inference

Kombinera OmniRoutes automatiska fallback och utvecklarverktyg med Cheaper Inferences kostnadsrankade marknadsplats. Varje kvalificerat anrop börjar med den billigaste tillgängliga leverantörsrutten.

97 modellerDirekt listpris jämfört med Cheaper Inference-priset
Direkta listpriser jämfört med Cheaper Inference-priser per modell
ModellInputprisOutputprisBesparingKontextDetaljer
gpt-5.6-lunaOpenAI · text$0.20$0.08/ 1M tokens$1.20$0.48/ 1M tokens60 % rabatt1.1M
gpt-5.6-terraOpenAI · text$2.00$0.80/ 1M tokens$12.00$4.80/ 1M tokens60 % rabatt1.1M
gpt-oss-120bOpenAI · text$0.10$0.040483/ 1M tokens$0.50$0.202417/ 1M tokens59.52 % rabatt128K
deepseek-v4.1-flashDeepSeek · text$0.15$0.075/ 1M tokens$0.60$0.30/ 1M tokens50 % rabatt1.0M
gpt-5.6-solOpenAI · text$4.00$2.00/ 1M tokens$20.00$10.00/ 1M tokens50 % rabatt1.1M
glm-4.5Z.ai · text$0.60$0.33/ 1M tokens$2.20$1.21/ 1M tokens45 % rabatt128K
glm-4.6Z.ai · text$0.60$0.33/ 1M tokens$2.20$1.21/ 1M tokens45 % rabatt198K
glm-4.7Z.ai · text$0.60$0.33/ 1M tokens$2.20$1.21/ 1M tokens45 % rabatt128K
Visar 8 av 97 modeller
Direkt listpris → Cheaper Inference-pris · Bläddra bland alla modeller · Visa livekatalogen (öppnas i en ny flik)Priser kontrollerade 14 okt. 2026 14:00 UTC. Priserna kan ändras när uppströmsprissättningen eller tillgängliga rutter ändras.

Kärnkontroller

En endpoint för dina konfigurerade leverantörer.

Core control

Håll anropen igång

När ett mål är otillgängligt eller har slut på kvot väljer OmniRoute nästa friska mål.

Core control

Komprimera kvalificerad kontext

En pipeline med 12 motorer minskar kvalificerad kontext med 15–95%. Det dokumenterade verktygstunga exemplet minskade den med ~89%.

Core control

$0 för att börja

90+ gratisnivåer och 56 återkommande eller nyckelfria leverantörer som är gratis för alltid. Inget kreditkort krävs för den nyckelfria snabbstarten.

Core control

35 integrationer som stöds

Konfigurera Claude Code, Codex, Cursor, Cline, Copilot, Antigravity och andra klienter som stöds via en endpoint.

Core control

En endpoint

Tar emot OpenAI-, Claude-, Gemini- och Responses API-anrop på /v1.

Core control

Driftkontroller

Kretsbrytare, krypterade autentiseringsuppgifter, MCP, A2A, minne, guardrails och evals ingår i den självhostade gatewayen.

Katalogen

Alla bakom en endpoint.

En katalog som spänner över chatt, media, sök, lokala körmiljöer, molnagenter och systemintegrationer.

352 leverantörer

Varenda en av dem, bakom en enda lokal endpoint.

Den enda endpoint som alla klienter pekar påhttp://localhost:20128/v1

14 Search12 Audio-only2 Upstream proxy3 Cloud agent1 System
OpenAIAnthropicGoogleDeepSeekxAIZ.aiMoonshotMiniMaxAlibabaMetaBytedanceAion Labs
25OAuthClaude Code, Codex, Cursor, GitHub Copilot, Kimi Code…
233API-nyckelOpenAI, Anthropic, Groq, NVIDIA, Cerebras, Mistral…
35WebbcookieChatGPT Web, Claude Web, Gemini Web, Grok Web…
14LokaltOllama, LM Studio, vLLM, llama.cpp…
13Ingen autentiseringOpenCode Free, Felo, Pollinations och andra nyckelfria rutter…
Utforska leverantörsreferensen (opens in a new tab)

Snabbstart

Installera, kör, anslut.

Installera paketet, starta gatewayen och peka sedan valfri OpenAI-kompatibel klient mot port 20128.

Leverantörskatalog
352
Routingstrategier
19
Lokal endpoint
:20128/v1

Step 1: Installera

Installera npm-paketet omniroute globalt.

omniroute: install
$ npm install -g omnirouteadded 1 package

Step 2: Kör

Starta API:et och dashboarden tillsammans på port 20128.

omniroute: run
$ omniroute▸ dashboard ✓ http://localhost:20128/dashboard▸ api ...... ✓ serving on :20128

Step 3: Anslut ditt verktyg

Använd http://localhost:20128/v1; den nyckelfria auto-rutten fungerar på en ny installation.

omniroute: connect
$ curl localhost:20128/v1/models✓ models listed

Gatewaykontroller

Gatewayens kärnkontroller i en process.

Konfigurera fallback, kvot, komprimering, minne, MCP och A2A från den lokala dashboarden.

Gateway control

Smarta combos

Sätt en modell till auto eller bygg din egen combo med 19 strategier och nivåindelad fallback.

Använd ett färdigt läge eller kombinera 19 strategier kring det mål som är viktigt.

Gateway control

Minne

Beständigt konversationsminne med FTS5-nyckelord och Qdrant-vektorsökning.

Gateway control

Resiliens i 3 lager

Leverantörsbrytare, anslutningsnedkylning och modellutlåsning isolerar fel på minsta användbara nivå.

Gateway control

Gratiskvot

Pooldeduplicerad redovisning över 90+ gratisnivåer.

Publicerad gratiskapacitet, deduplicerad.

Gateway control

Komprimering

12 kombinerbara motorer för verktygsutdata, kontext och svarsstil.

Minska kvalificerade tokens med 15–95%.

Gateway control

MCP-server

En inbyggd server som exponerar 110 gatewayverktyg över 33 scope.

110 verktyg · 33 scope · stdio / HTTP

Gateway control

A2A-protokoll

En JSON-RPC-agentserver med 6 skills.

6 skills · JSON-RPC 2.0 · Agent Card

Gateway control

Semantisk cache

Ett upprepat anrop kan besvaras från cachen, och svarsheadern rapporterar vad det sparade.

X-OmniRoute-Cache: HIT

Klientkompatibilitet

Behåll dina befintliga kodverktyg.

Peka en OpenAI-kompatibel CLI eller editor mot en lokal bas-URL; OmniRoute hanterar leverantörerna bakom den.

Claude Code
Codex CLI
Cursor
Cline
GitHub Copilot
Gemini CLI
OpenCode
Kilo Code
Factory Droid
Continue
Roo Code
Antigravity
Aider
OpenClaw
Goose
Grok Build
Windsurf
Devin CLI

http://localhost:20128/v1

request.sh
curl http://localhost:20128/v1/chat/completions \
  -H "Authorization: Bearer $OMNIROUTE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Hello"}]}'

OmniCopilot

Använd OmniRoute-modeller i Copilot Chat.

OmniCopilot lägger till OmniRoute-modeller i den befintliga modellväljaren.

Officiella Marketplace

Fungerar i VS Code stable och Insiders. Installera från Marketplace eller vyn Extensions.

Open VSX Registry

För Cursor, Windsurf, VSCodium, Theia, code-server, Gitpod och andra kompatibla editorer.

Ingen Copilot-plan krävs

Leverantörsmodeller kan köras via OmniRoute i Copilot Chat utan att inferensen routas genom en Copilot-plan.

VS Code Marketplace (öppnas i en ny flik)Open VSX Registry (öppnas i en ny flik)OmniCopilot source (öppnas i en ny flik)

Vanliga felscenarier

Varför OmniRoute

Se vilken kontroll som hanterar varje vanligt felscenario.

Without routing
With OmniRoute
Kvoten går ut oanvänd
Följ upp och använd den tilldelning du redan har
Rate limits stoppar dig mitt i arbetet
Auto-fallback i 4 nivåer på millisekunder
Verktygsutdata bränner tokens
Komprimering med 12 motorer, 15–95% på kvalificerat innehåll
Dyra API:er kostar i längden
Kostnadsoptimerad routing kan välja det billigaste kvalificerade målet
Varje verktyg kräver sin egen konfiguration
En endpoint och en dashboard
En leverantör är otillgänglig från ditt nätverk
Proxy-scope och kontroller för klientfingeravtryck
En död nyckel slår ut en leverantör
Brytare, nedkylning och utlåsning isolerar felet
Ett team delar en prenumeration
Nyckelpooler och rättvist delade kvoter
Du behöver lokal kontroll över routingdata
Lokal lagring först med krypterade autentiseringsuppgifter
Ingen insyn i kostnader eller hälsa
Analys av användning, kvot, besparingar och latens

Ögonblicksbild av dokumentationen

Så jämför sig gatewayerna

Funktioner kontrollerade mot den länkade projektdokumentationen 2026-08-30.

FunktionOmniRoute (öppnas i en ny flik)9Router (öppnas i en ny flik)LiteLLM (öppnas i en ny flik)CLIProxyAPI (öppnas i en ny flik)
Leverantörer35240+100+8+ upstreams
Routingstrategier193-tierretry / priorityround-robin / fill-first
Nivåindelad fallback med UIYesYesManual policyMulti-account
Tokenkomprimering12 engines · 15–95%RTK / Headroom / CavemanNo built-in pipelineHTTP compression

Ögonblicksbild av publik README och officiell dokumentation; verifiera länkade källor innan köp- eller driftsättningsbeslut.

Driftsättning

9 sätt att köra OmniRoute som stöds.

Installera på en laptop, server eller telefon, eller anslut via en editor och ett plugin som stöds.

npm

Ett kommando på alla desktop-OS som stöds

npm install -g omnirouteÖppna guiden (öppnas i en ny flik)

Docker

Multi-arch-image för AMD64 och ARM64

docker run … diegosouzapw/omnirouteÖppna guiden (öppnas i en ny flik)

Desktop

Eget fönster och systemfält på Windows, macOS och Linux

npm run electron:buildÖppna guiden (öppnas i en ny flik)

ARM

Raspberry Pi, ARM-servrar och Apple Silicon

native arm64

Android · Termux

Körs på Android utan root

pkg install nodejs && npx -y omnirouteÖppna guiden (öppnas i en ny flik)

PWA

Helskärm, offlineredo och installerbar från en webbläsare

Add to Home ScreenÖppna guiden (öppnas i en ny flik)

OpenCode plugin

Inbyggt OpenCode-leverantörsplugin

@omniroute/opencode-providerÖppna guiden (öppnas i en ny flik)

VS Code

OmniRoute-modeller i Copilot Chat-väljaren

Install OmniCopilotÖppna guiden (öppnas i en ny flik)

From source

Hacka på det och bidra

npm install && npm run devÖppna guiden (öppnas i en ny flik)

Routing

Välj en auto-rutt.

Använd ett färdigt läge eller kombinera 19 strategier kring det mål som är viktigt.

Modell · fallback aktiveradautoBalanced default
OpenAI-kompatibelt anrop
curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Routing alias auto selected. Objective: Balanced default. Fallback enabled.

Töm prenumerationskvoten

Använd kvot du redan har innan du rör betalda API:er.

priority · fill-first

Sprid lasten

Balansera trafiken över nycklar och konton för att minska trycket från rate limits.

weighted · round-robin · p2c · least-used · headroom

Billigast först

Routa till det kvalificerade målet med lägst kostnad.

cost-optimized

Kontextmedveten

Håll långa kontexter på modeller som rymmer dem och växla vidare vid behov.

context-relay · context-optimized · cache-optimized

Slumpad

Fördela kvalificerad trafik över målen.

random · strict-random

Adaptiv poängsättning

Använd poängsättning med 15 faktorer, senast kända fungerande och återställningsmedvetna fönster.

reset-window · reset-aware · lkgp · auto · fusion · pipeline

Redovisning av gratisnivåer

Publicerad gratiskapacitet, deduplicerad.

455 katalogposter dedupliceras till 40 återkommande pooler; bara publicerade positiva budgetar räknas in i rubriksiffran.

1.51B

Pooldeduplicerad redovisning hindrar att delade kvoter räknas mer än en gång. Leverantörer utan tak förblir synliga utan att blåsa upp tokentotalen. Checked 2026-08-30.

Visa beräkningen (öppnas i en ny flik)
Återkommande eller nyckelfria leverantörer som är gratis för alltid56
  • Mistral1B/month
  • LLM7150M/month
  • Nara150M/month
  • Gemini CLI · forever60M/month
  • Kiro50 credits/month
  • Qoder · foreverFree catalog
  • LongCat · forever50M/day
  • Cerebras1M/day
  • NVIDIA NIM~40 RPM
  • Pollinations · foreverNo key
  • Cloudflare Workers AI · foreverDaily neurons
  • OpenCode Free · foreverNo-auth catalog

Kontextkomprimering

Minska kvalificerade tokens med 15–95%.

Verktygsutdata, upprepad kontext och uppsvälld strukturerad data kan komprimeras innan de når modellen.

Kontexten minskad med 15–95% på kvalificerade tokens

Före: The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total. Efter: sum all list items where value > 0

  1. Session-Dedup
  2. CCR
  3. Lite
  4. RTK
  5. Responses Tool Output
  6. Headroom
  7. Relevance
  8. Caveman
  9. Aggressive
  10. LLMLingua-2
  11. Ultra
  12. OmniGlyph

Samma instruktion. Mindre kontext att betala för.

Före69 tokens
The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.
Efter19 tokens
sum all list items where value > 0

Kombinerbar pipeline

  1. Session-Dedup
    Ta bort innehåll som redan skickats tidigare i sessionen.
  2. CCR
    Arkivera stora block och återställ dem på begäran.
  3. Lite
    Tillämpa försiktig förlustfri rensning.
  4. RTK
    Filtrera och deduplicera kommando- och verktygsutdata.
  5. Responses Tool Output
    Komprimera verktygspayloads för Responses API.
  6. Headroom
    Tillämpa reversibel kompaktering av tabell- och strukturerad data.
  7. Relevance
    Behåll de meningar som är mest relevanta för senaste frågan.
  8. Caveman
    Använd regelbaserad textkondensering.
  9. Aggressive
    Tillämpa kraftigare konfigurerad rensning.
  10. LLMLingua-2
    Använd kodsäker semantisk rensning i en isolerad worker.
  11. Ultra
    Kombinera steg med hög besparing med bevarandeskydd.
  12. OmniGlyph
    Koda kvalificerade upprepade strukturer kompakt.

Profiler

Publicerat profilintervall~30%x-omniroute-compression: standard

Komprimering Standard vald. Publicerat intervall ~30%.

Kontroller och utdatastilar

  • Namngivna profiler och aktiv väljare
  • Visuell Compression Studio
  • Anthropic Context Editing
  • Adaptivt kontextbudgetreglage
  • Per anrop \
  • header
  • Offline eval-harness
  • Automatisk utlösning vid tokentröskel
  • Terse prose
  • Less code (YAGNI)
  • Terse CJK 文言

Prioritetsordning: request-header → combo → profil → adaptiv policy → standard.

Felisolering

Isolera fel i leverantör, anslutning och modell.

En dålig nyckel ska inte slå ut en leverantör. En begränsad modell ska inte slå ut en anslutning.

modell ⊂ anslutning ⊂ leverantör
Kretsbrytare per leverantörNär en leverantör är ohälsosam hoppar combo-routingen över den tills en halvöppen sond lyckas.
AnslutningsnedkylningKyl ner en nyckel eller ett konto medan syskonanslutningarna fortsätter att svara.
ModellutlåsningLås en rate-limitad eller otillgänglig modell medan andra modeller på anslutningen förblir tillgängliga.

Nätverkskontroller

Nätverksrouting och kontroll över lokal data.

Proxy-scope styr nätverksroutingen medan lokal lagring håller driftdata på din maskin.

Tre proxy-scope

Routa globalt, per leverantör eller per enskild anslutning.

  • Globalt · per leverantör · per anslutning
  • SOCKS5- och HTTP(S)-proxyer
  • Integration med proxymarknadsplats

Kontroll av TLS- och klientfingeravtryck

Matcha leverantörsklienter som stöds ned till utvalda transportegenskaper.

  • JA3/JA4-kapabel transport via wreq-js
  • Leverantörsspecifika klientprofiler
  • Kontroll över IPv4- och IPv6-utgång

Privat och lokalt först

Nycklar, användning och historik stannar på den värd du kontrollerar.

  • SQLite på disk med AES-256-GCM-krypterade autentiseringsuppgifter
  • Inget OmniRoute-konto krävs
  • Självhosta på infrastruktur du väljer
RysslandKinaIranKubaTurkiet

Lokal dashboard

Konfigurera OmniRoute utan att redigera YAML.

Hantera leverantörer, combos, analys, hälsa och kostnader på localhost:20128/dashboard.

localhost:20128/dashboardExempeldata
352anslutna leverantörer
90+tillgängliga gratisnivåer
198friska i det här exemplet
  • Claude Code · OAuth · live
  • Cerebras · gratis · live
  • Groq · exempel på nedkylning
  • NVIDIA NIM · gratis · live

Agentprotokoll

Exponera OmniRoute över MCP och A2A.

OmniRoute kan exponera sin gateway för MCP-klienter, A2A-nätverk och molnbaserade kodagenter som stöds.

MCP-server

110 verktyg över 33 scope via stdio- och HTTP-transport.

110 verktyg · 33 scope · stdio / HTTP

claude mcp add omniroute --type http --url http://localhost:20128/api/mcp/stream

A2A-server

6 skills för smart routing, kvot, upptäckt, kostnadsanalys och hälsorapportering över JSON-RPC 2.0.

6 skills · JSON-RPC 2.0 · Agent Card

Molnagenter

Anslut Codex-, Cursor-, Devin- och Jules-arbetsflöden som stöds via en orkestreringsyta.

Codex · Cursor · Devin · Jules

Ytterligare tjänster

Utöka gatewayen.

Inbäddade tjänster

Kör Bifrost, 9Router eller CLIProxy som hanterade sidecars, eller kör en fullständig klusterprofil.

Din kunskap, i kontext

Anslut Notion och Obsidian som MCP-baserade kontextkällor.

Inbyggda guardrails

Kontroller mot promptinjektion, valbar PII-maskering och normaliserade säkerhetsfilter utan leverantörslåsning.

Användningsmål

Följ streaks, prestationer och besparingar i realtid vid sidan av driftanalysen.

Från communityn

Så används och diskuteras OmniRoute.

Se vad utvecklare bygger, frågar och delar på X, Reddit och YouTube.

32 videor från 32 kanalerSe alla 32 communityvideor

Profile picture of Peng
Peng@pengsonal
Link to tweet (opens in a new tab)
one local endpoint for cursor / cline / claude code / copilot 😳 OmniRoute (24.7k★ on GitHub) runs a self-hosted router on your machine so you only need one base URL for all your coding agents. wha…

25 posts from X · 25 Reddit postsSe alla inlägg

Byggt i det öppna

Aktivitet i repot

Se stjärnor, forkar, bidragsgivare och releaser från den incheckade GitHub-ögonblicksbilden.

  • 11,169forkar
  • 832bidragsgivare
  • 281releaser levererade
  • 8,942PR:er mergade
  • 5,072issues stängda
  • 30,000automatiserade tester

Ögonblicksbild från 2026-10-16

Discord

Chatt, support och roadmap

(öppnas i en ny flik)

Telegram

Nyheter och tillkännagivanden

(öppnas i en ny flik)

WhatsApp 🌍

Global community

(öppnas i en ny flik)

WhatsApp 🇧🇷

Comunidade Brasil

(öppnas i en ny flik)
Möt bidragsgivarna (öppnas i en ny flik)

OmniRoute från Cheaper Inference

Välj hur du kör OmniRoute.

Självhosta OmniRoute, eller börja med Cheaper Inference för en hostad kostnadsrankad gateway.

Prova Cheaper Inference Hosta OmniRoute själv (öppnas i en ny flik)