OmniRouteby Cheaper Inference
OmniRoute kini bergabung dengan Cheaper InferenceJelajahi Cheaper Inference

#1 Router AI Open Source

Rutekan ke 352 provider lewat satu endpoint yang kompatibel dengan OpenAI, dengan fallback otomatis.

Coba Cheaper InferenceHost OmniRoute sendiri (membuka tab baru)
Kompatibel dengan OpenAI Gratis dan open source77.2k star (membuka tab baru)

OmniRoute × Cheaper Inference

Gabungkan fallback otomatis dan tool developer OmniRoute dengan marketplace Cheaper Inference yang diurutkan berdasarkan biaya. Setiap request yang memenuhi syarat dimulai dari rute provider termurah yang tersedia.

97 modelHarga list langsung dibandingkan dengan harga Cheaper Inference
Harga list langsung dibandingkan dengan harga Cheaper Inference per model
ModelHarga inputHarga outputPenghematanKonteksDetail
gpt-5.6-lunaOpenAI · text$0.20$0.08/ 1M tokens$1.20$0.48/ 1M tokensDiskon 60%1.1M
gpt-5.6-terraOpenAI · text$2.00$0.80/ 1M tokens$12.00$4.80/ 1M tokensDiskon 60%1.1M
gpt-oss-120bOpenAI · text$0.10$0.040483/ 1M tokens$0.50$0.202417/ 1M tokensDiskon 59.52%128K
deepseek-v4.1-flashDeepSeek · text$0.15$0.075/ 1M tokens$0.60$0.30/ 1M tokensDiskon 50%1.0M
gpt-5.6-solOpenAI · text$4.00$2.00/ 1M tokens$20.00$10.00/ 1M tokensDiskon 50%1.1M
glm-4.5Z.ai · text$0.60$0.33/ 1M tokens$2.20$1.21/ 1M tokensDiskon 45%128K
glm-4.6Z.ai · text$0.60$0.33/ 1M tokens$2.20$1.21/ 1M tokensDiskon 45%198K
glm-4.7Z.ai · text$0.60$0.33/ 1M tokens$2.20$1.21/ 1M tokensDiskon 45%128K
Menampilkan 8 dari 97 model
Harga list langsung → harga Cheaper Inference · Telusuri semua model · Lihat katalog langsung (membuka tab baru)Harga diperiksa 14 Okt 2026, 14.00 UTC. Tarif bisa berubah saat harga upstream atau rute yang tersedia berubah.

Kontrol inti

Satu endpoint untuk semua provider yang Anda konfigurasikan.

Core control

Jaga request tetap mengalir

Saat sebuah target tidak tersedia atau kuotanya habis, OmniRoute memilih target sehat berikutnya.

Core control

Kompres konteks yang memenuhi syarat

Pipeline 12 engine mengurangi konteks yang memenuhi syarat sebesar 15–95%. Contoh terdokumentasi yang padat tool menguranginya sebesar ~89%.

Core control

Mulai dari $0

90+ tier gratis dan 56 provider gratis selamanya, berulang atau tanpa key. Tidak perlu kartu kredit untuk mulai cepat tanpa key.

Core control

35 integrasi yang didukung

Konfigurasikan Claude Code, Codex, Cursor, Cline, Copilot, Antigravity dan klien lain yang didukung lewat satu endpoint.

Core control

Satu endpoint

Menerima request OpenAI, Claude, Gemini dan Responses API di /v1.

Core control

Kontrol operasional

Circuit breaker, kredensial terenkripsi, MCP, A2A, memori, guardrail dan eval disertakan di gateway self-hosted.

Katalog

Semua di balik satu endpoint.

Katalog yang mencakup chat, media, pencarian, runtime lokal, agen cloud dan integrasi sistem.

352 provider

Semuanya, di balik satu endpoint lokal.

Satu endpoint yang dituju semua klienhttp://localhost:20128/v1

14 Search12 Audio-only2 Upstream proxy3 Cloud agent1 System
OpenAIAnthropicGoogleDeepSeekxAIZ.aiMoonshotMiniMaxAlibabaMetaBytedanceAion Labs
25OAuthClaude Code, Codex, Cursor, GitHub Copilot, Kimi Code…
233API keyOpenAI, Anthropic, Groq, NVIDIA, Cerebras, Mistral…
35Cookie webChatGPT Web, Claude Web, Gemini Web, Grok Web…
14LokalOllama, LM Studio, vLLM, llama.cpp…
13Tanpa autentikasiOpenCode Free, Felo, Pollinations dan rute tanpa key lainnya…
Jelajahi referensi provider (opens in a new tab)

Mulai cepat

Instal, jalankan, hubungkan.

Instal paketnya, jalankan gateway, lalu arahkan klien apa pun yang kompatibel dengan OpenAI ke port 20128.

Katalog provider
352
Strategi routing
19
Endpoint lokal
:20128/v1

Step 1: Instal

Instal paket npm omniroute secara global.

omniroute: install
$ npm install -g omnirouteadded 1 package

Step 2: Jalankan

Jalankan API dan dasbor bersamaan di port 20128.

omniroute: run
$ omniroute▸ dashboard ✓ http://localhost:20128/dashboard▸ api ...... ✓ serving on :20128

Step 3: Hubungkan tool Anda

Gunakan http://localhost:20128/v1; rute auto tanpa key langsung bekerja pada instalasi baru.

omniroute: connect
$ curl localhost:20128/v1/models✓ models listed

Kontrol gateway

Kontrol inti gateway dalam satu proses.

Konfigurasikan fallback, kuota, kompresi, memori, MCP dan A2A dari dasbor lokal.

Gateway control

Smart Combos

Atur model ke auto atau buat combo sendiri dengan 19 strategi dan fallback bertingkat.

Pakai mode siap pakai atau kombinasikan 19 strategi sesuai tujuan yang penting bagi Anda.

Gateway control

Memori

Memori percakapan persisten dengan pencarian kata kunci FTS5 dan recall vektor Qdrant.

Gateway control

Resiliensi 3 lapis

Breaker provider, cooldown koneksi dan penguncian model mengisolasi kegagalan pada cakupan terkecil yang berguna.

Gateway control

Kuota gratis

Akuntansi terdeduplikasi per pool di 90+ tier gratis.

Kapasitas tier gratis yang dipublikasikan, terdeduplikasi.

Gateway control

Kompresi

12 engine yang bisa dikombinasikan untuk output tool, konteks dan gaya respons.

Kurangi token yang memenuhi syarat sebesar 15–95%.

Gateway control

Server MCP

Server bawaan yang mengekspos 110 tool gateway di 33 scope.

110 tool · 33 scope · stdio / HTTP

Gateway control

Protokol A2A

Server agen JSON-RPC dengan 6 skill.

6 skill · JSON-RPC 2.0 · Agent Card

Gateway control

Cache semantik

Request yang berulang bisa dilayani dari cache, dan header respons melaporkan berapa yang dihemat.

X-OmniRoute-Cache: HIT

Kompatibilitas klien

Tetap pakai tool coding yang sudah ada.

Arahkan CLI atau editor yang kompatibel dengan OpenAI ke satu base URL lokal; OmniRoute menangani provider di belakangnya.

Claude Code
Codex CLI
Cursor
Cline
GitHub Copilot
Gemini CLI
OpenCode
Kilo Code
Factory Droid
Continue
Roo Code
Antigravity
Aider
OpenClaw
Goose
Grok Build
Windsurf
Devin CLI

http://localhost:20128/v1

request.sh
curl http://localhost:20128/v1/chat/completions \
  -H "Authorization: Bearer $OMNIROUTE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Hello"}]}'

OmniCopilot

Gunakan model OmniRoute di Copilot Chat.

OmniCopilot menambahkan model OmniRoute ke pemilih model yang sudah ada.

Marketplace resmi

Bekerja di VS Code stable dan Insiders. Instal dari Marketplace atau tampilan Extensions.

Open VSX Registry

Untuk Cursor, Windsurf, VSCodium, Theia, code-server, Gitpod dan editor kompatibel lainnya.

Tanpa paket Copilot

Model provider bisa berjalan lewat OmniRoute di Copilot Chat tanpa merutekan inferensi lewat paket Copilot.

VS Code Marketplace (membuka tab baru)Open VSX Registry (membuka tab baru)OmniCopilot source (membuka tab baru)

Mode kegagalan umum

Kenapa OmniRoute

Lihat kontrol mana yang menangani setiap mode kegagalan umum.

Without routing
With OmniRoute
Kuota hangus tak terpakai
Pantau dan habiskan jatah yang sudah Anda miliki
Rate limit menghentikan Anda di tengah tugas
Auto-fallback 4 tingkat dalam hitungan milidetik
Output tool membakar token
Kompresi 12 engine, 15–95% pada konten yang memenuhi syarat
API mahal menumpuk biayanya
Routing hemat biaya bisa memilih target termurah yang memenuhi syarat
Setiap tool butuh setup sendiri
Satu endpoint dan satu dasbor
Sebuah provider tidak bisa diakses dari jaringan Anda
Scope proxy dan kontrol fingerprint klien
Satu key mati merusak satu provider
Breaker, cooldown dan penguncian mengisolasi kegagalan
Satu tim berbagi satu langganan
Pool key dan kuota berbagi adil
Anda butuh kontrol lokal atas data routing
Penyimpanan local-first dengan kredensial terenkripsi
Tidak ada visibilitas biaya atau kesehatan
Analitik penggunaan, kuota, penghematan dan latensi

Snapshot dokumentasi

Perbandingan antar gateway

Kemampuan diperiksa terhadap dokumentasi proyek yang ditautkan pada 2026-08-30.

KemampuanOmniRoute (membuka tab baru)9Router (membuka tab baru)LiteLLM (membuka tab baru)CLIProxyAPI (membuka tab baru)
Provider35240+100+8+ upstreams
Strategi routing193-tierretry / priorityround-robin / fill-first
Fallback bertingkat dengan UIYesYesManual policyMulti-account
Kompresi token12 engines · 15–95%RTK / Headroom / CavemanNo built-in pipelineHTTP compression

Snapshot README publik dan dokumentasi resmi; verifikasi sumber yang ditautkan sebelum mengambil keputusan pembelian atau deployment.

Deployment

9 cara yang didukung untuk menjalankan OmniRoute.

Instal di laptop, server atau ponsel, atau hubungkan lewat editor dan plugin yang didukung.

npm

Satu perintah di OS desktop mana pun yang didukung

npm install -g omnirouteBuka panduan (membuka tab baru)

Docker

Image multi-arch AMD64 dan ARM64

docker run … diegosouzapw/omnirouteBuka panduan (membuka tab baru)

Desktop

Jendela native dan system tray di Windows, macOS dan Linux

npm run electron:buildBuka panduan (membuka tab baru)

ARM

Raspberry Pi, server ARM dan Apple Silicon

native arm64

Android · Termux

Berjalan di Android tanpa root

pkg install nodejs && npx -y omnirouteBuka panduan (membuka tab baru)

PWA

Layar penuh, siap offline dan bisa diinstal dari browser

Add to Home ScreenBuka panduan (membuka tab baru)

OpenCode plugin

Plugin provider OpenCode native

@omniroute/opencode-providerBuka panduan (membuka tab baru)

VS Code

Model OmniRoute di pemilih Copilot Chat

Install OmniCopilotBuka panduan (membuka tab baru)

From source

Oprek dan berkontribusi

npm install && npm run devBuka panduan (membuka tab baru)

Routing

Pilih rute auto.

Pakai mode siap pakai atau kombinasikan 19 strategi sesuai tujuan yang penting bagi Anda.

Model · fallback aktifautoBalanced default
Request kompatibel OpenAI
curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Routing alias auto selected. Objective: Balanced default. Fallback enabled.

Habiskan kuota langganan

Pakai kuota yang sudah Anda punya sebelum menyentuh API berbayar.

priority · fill-first

Sebarkan beban

Seimbangkan traffic antar key dan akun untuk mengurangi tekanan rate limit.

weighted · round-robin · p2c · least-used · headroom

Termurah dulu

Rutekan ke target termurah yang memenuhi syarat.

cost-optimized

Sadar konteks

Pertahankan konteks panjang di model yang muat, lalu relay saat diperlukan.

context-relay · context-optimized · cache-optimized

Acak

Sebarkan traffic yang memenuhi syarat ke berbagai target.

random · strict-random

Skor adaptif

Gunakan skor 15 faktor, last-known-good dan window yang sadar reset.

reset-window · reset-aware · lkgp · auto · fusion · pipeline

Akuntansi tier gratis

Kapasitas tier gratis yang dipublikasikan, terdeduplikasi.

455 entri katalog dideduplikasi menjadi 40 pool berulang; hanya budget positif yang dipublikasikan yang masuk ke angka utama.

1.51B

Akuntansi terdeduplikasi per pool mencegah kuota bersama dihitung lebih dari sekali. Provider tanpa batas tetap terlihat tanpa menggelembungkan total token. Checked 2026-08-30.

Lihat perhitungannya (membuka tab baru)
Provider gratis selamanya, berulang atau tanpa key56
  • Mistral1B/month
  • LLM7150M/month
  • Nara150M/month
  • Gemini CLI · forever60M/month
  • Kiro50 credits/month
  • Qoder · foreverFree catalog
  • LongCat · forever50M/day
  • Cerebras1M/day
  • NVIDIA NIM~40 RPM
  • Pollinations · foreverNo key
  • Cloudflare Workers AI · foreverDaily neurons
  • OpenCode Free · foreverNo-auth catalog

Kompresi konteks

Kurangi token yang memenuhi syarat sebesar 15–95%.

Output tool, konteks berulang dan data terstruktur yang membengkak bisa dikompres sebelum sampai ke model.

Konteks berkurang 15–95% pada token yang memenuhi syarat

Sebelum: The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total. Sesudah: sum all list items where value > 0

  1. Session-Dedup
  2. CCR
  3. Lite
  4. RTK
  5. Responses Tool Output
  6. Headroom
  7. Relevance
  8. Caveman
  9. Aggressive
  10. LLMLingua-2
  11. Ultra
  12. OmniGlyph

Instruksi sama. Konteks yang dibayar lebih sedikit.

Sebelum69 tokens
The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.
Sesudah19 tokens
sum all list items where value > 0

Pipeline yang bisa dikombinasikan

  1. Session-Dedup
    Buang konten yang sudah dikirim lebih awal dalam sesi.
  2. CCR
    Arsipkan blok besar dan pulihkan saat diminta.
  3. Lite
    Terapkan pembersihan lossless yang konservatif.
  4. RTK
    Filter dan deduplikasi output perintah dan tool.
  5. Responses Tool Output
    Padatkan payload tool Responses API.
  6. Headroom
    Terapkan pemadatan data tabular dan terstruktur yang bisa dibalik.
  7. Relevance
    Pertahankan kalimat yang paling relevan dengan query terbaru.
  8. Caveman
    Gunakan pemadatan prosa berbasis aturan.
  9. Aggressive
    Terapkan pemangkasan yang lebih kuat sesuai konfigurasi.
  10. LLMLingua-2
    Gunakan pemangkasan semantik yang aman untuk kode di worker terisolasi.
  11. Ultra
    Gabungkan tahap penghematan tinggi dengan pengaman preservasi.
  12. OmniGlyph
    Enkode struktur berulang yang memenuhi syarat secara ringkas.

Profil

Rentang profil terpublikasi~30%x-omniroute-compression: standard

Kompresi Standard dipilih. Rentang terpublikasi ~30%.

Kontrol dan gaya output

  • Profil bernama dan pemilih aktif
  • Visual Compression Studio
  • Anthropic Context Editing
  • Dial budget konteks adaptif
  • Header \
  • per request
  • Harness eval offline
  • Pemicu otomatis ambang token
  • Terse prose
  • Less code (YAGNI)
  • Terse CJK 文言

Prioritas kontrol: header request → combo → profil → kebijakan adaptif → default.

Isolasi kegagalan

Isolasi kegagalan provider, koneksi dan model.

Satu key buruk tidak boleh mematikan provider. Satu model yang dibatasi tidak boleh mematikan koneksi.

model ⊂ koneksi ⊂ provider
Circuit breaker providerSaat provider tidak sehat, routing combo melewatinya sampai probe half-open berhasil.
Cooldown koneksiDinginkan satu key atau akun sementara koneksi lain tetap melayani.
Penguncian modelKunci satu model yang terkena rate limit atau tidak tersedia sementara model lain di koneksi itu tetap tersedia.

Kontrol jaringan

Kontrol routing jaringan dan data lokal.

Scope proxy mengontrol routing jaringan, sementara penyimpanan local-first menjaga data operasional di mesin Anda.

Tiga scope proxy

Rutekan secara global, per provider atau per koneksi.

  • Global · per provider · per koneksi
  • Proxy SOCKS5 dan HTTP(S)
  • Integrasi marketplace proxy

Kontrol fingerprint TLS dan klien

Samakan dengan klien provider yang didukung hingga ke karakteristik transport tertentu.

  • Transport berkemampuan JA3/JA4 via wreq-js
  • Profil klien khusus per provider
  • Kontrol egress IPv4 dan IPv6

Privat dan local-first

Key, penggunaan dan riwayat tetap di host yang Anda kendalikan.

  • SQLite di disk dengan kredensial terenkripsi AES-256-GCM
  • Tidak perlu akun OmniRoute
  • Host sendiri di infrastruktur pilihan Anda
RusiaTiongkokIranKubaTürkiye

Dasbor lokal

Konfigurasikan OmniRoute tanpa mengedit YAML.

Kelola provider, combo, analitik, kesehatan dan biaya di localhost:20128/dashboard.

localhost:20128/dashboardData contoh
352provider terhubung
90+tier gratis tersedia
198sehat dalam contoh ini
  • Claude Code · OAuth · aktif
  • Cerebras · gratis · aktif
  • Groq · contoh cooldown
  • NVIDIA NIM · gratis · aktif

Protokol agen

Ekspos OmniRoute lewat MCP dan A2A.

OmniRoute bisa mengekspos gateway-nya ke klien MCP, jaringan A2A dan agen coding cloud yang didukung.

Server MCP

110 tool di 33 scope lewat transport stdio dan HTTP.

110 tool · 33 scope · stdio / HTTP

claude mcp add omniroute --type http --url http://localhost:20128/api/mcp/stream

Server A2A

6 skill untuk smart routing, kuota, discovery, analisis biaya dan pelaporan kesehatan lewat JSON-RPC 2.0.

6 skill · JSON-RPC 2.0 · Agent Card

Agen cloud

Hubungkan alur kerja Codex, Cursor, Devin dan Jules yang didukung lewat satu permukaan orkestrasi.

Codex · Cursor · Devin · Jules

Layanan tambahan

Perluas gateway.

Layanan tertanam

Jalankan Bifrost, 9Router atau CLIProxy sebagai sidecar terkelola, atau operasikan profil cluster penuh.

Pengetahuan Anda, dalam konteks

Hubungkan Notion dan Obsidian sebagai sumber konteks berbasis MCP.

Guardrail bawaan

Pemeriksaan prompt injection, redaksi PII opsional dan filter keamanan ternormalisasi tanpa terikat pada satu provider.

Target penggunaan

Pantau streak, pencapaian dan penghematan langsung berdampingan dengan analitik operasional.

Dari komunitas

Bagaimana OmniRoute dipakai dan dibicarakan.

Lihat apa yang dibangun, ditanyakan dan dibagikan developer di X, Reddit dan YouTube.

32 video dari 32 kanalLihat semua 32 video komunitas

Profile picture of Peng
Peng@pengsonal
Link to tweet (opens in a new tab)
one local endpoint for cursor / cline / claude code / copilot 😳 OmniRoute (24.7k★ on GitHub) runs a self-hosted router on your machine so you only need one base URL for all your coding agents. wha…

25 posts from X · 25 Reddit postsLihat semua postingan

Dibangun secara terbuka

Aktivitas repositori

Lihat star, fork, kontributor dan rilis dari snapshot GitHub yang tersimpan.

  • 11,169fork
  • 832kontributor
  • 281rilis diterbitkan
  • 8,942PR digabungkan
  • 5,072issue ditutup
  • 30,000tes otomatis

Snapshot dari 2026-10-16

Discord

Chat, dukungan dan roadmap

(membuka tab baru)

Telegram

Berita dan pengumuman

(membuka tab baru)

WhatsApp 🌍

Komunitas global

(membuka tab baru)

WhatsApp 🇧🇷

Comunidade Brasil

(membuka tab baru)
Kenali para kontributor (membuka tab baru)

OmniRoute dari Cheaper Inference

Pilih cara Anda menjalankan OmniRoute.

Host OmniRoute sendiri, atau mulai dengan Cheaper Inference untuk gateway hosted yang diurutkan berdasarkan biaya.

Coba Cheaper Inference Host OmniRoute sendiri (membuka tab baru)