OmniRouteby Cheaper Inference

OmniRoute / Ürün yetenekleri

İnceleyip kendiniz barındırabileceğiniz kontroller.

Ağ geçidi kontrollerini, platform hizmetlerini ve yerel paneli, bir özellik listesini barındırma vaadi saymadan inceleyin.

Yetenekleri incele Cheaper Inference'ı dene Genel bakışa dön

Temel kontroller

Kendi barındırdığınız ağ geçidiyle gelenler.

Temel kontrol

İstekleri akışta tutun

Bir hedef kullanılamıyorsa veya kotası bittiyse OmniRoute bir sonraki sağlıklı hedefi seçer.

Temel kontrol

Uygun bağlamı sıkıştırın

12 motorlu bir işlem hattı uygun bağlamı 15–95% azaltır. Belgelenen araç ağırlıklı örnekte azalma ~89% oldu.

Temel kontrol

Başlangıç için 0 $

90+ ücretsiz katman ve 56 yinelenen veya anahtarsız kalıcı ücretsiz sağlayıcı. Anahtarsız hızlı başlangıç için kredi kartı gerekmez.

Temel kontrol

35 desteklenen entegrasyon

Claude Code, Codex, Cursor, Cline, Copilot, Antigravity ve diğer desteklenen istemcileri tek uç nokta üzerinden yapılandırın.

Temel kontrol

Tek uç nokta

/v1 üzerinden OpenAI, Claude, Gemini ve Responses API isteklerini kabul edin.

Temel kontrol

Operasyonel kontroller

Devre kesiciler, şifreli kimlik bilgileri, MCP, A2A, bellek, korumalar ve değerlendirmeler kendi barındırdığınız ağ geçidiyle birlikte gelir.

Yetenekler

İstek yolunu tek panelden yapılandırın.

Yedek geçiş, kota, sıkıştırma, bellek, MCP ve A2A'yı yerel panelden yapılandırın.

Ağ geçidi kontrolü

Akıllı Kombolar

Bir modeli auto olarak ayarlayın veya 19 strateji ve kademeli yedek geçişle kendi kombonuzu oluşturun.

Hazır bir mod kullanın veya 19 stratejiyi önemsediğiniz hedef etrafında birleştirin.

Ağ geçidi kontrolü

Bellek

FTS5 anahtar kelime ve Qdrant vektör geri çağırmalı kalıcı konuşma belleği.

Ağ geçidi kontrolü

3 katmanlı dayanıklılık

Sağlayıcı devre kesici, bağlantı soğuması ve model kilitleme, hataları en küçük anlamlı kapsamda yalıtır.

Ağ geçidi kontrolü

Ücretsiz kota

90+ ücretsiz katmanda havuz bazında tekilleştirilmiş muhasebe.

Yayınlanan ücretsiz katman kapasitesi, tekilleştirilmiş.

Ağ geçidi kontrolü

Sıkıştırma

Araç çıktısı, bağlam ve yanıt stili için 12 birleştirilebilir motor.

Uygun tokenları 15–95% azaltın.

Ağ geçidi kontrolü

MCP sunucusu

33 kapsamda 110 ağ geçidi aracı sunan yerleşik bir sunucu.

110 araç · 33 kapsam · stdio / HTTP

Ağ geçidi kontrolü

A2A protokolü

6 yetenekli bir JSON-RPC ajan sunucusu.

6 yetenek · JSON-RPC 2.0 · Agent Card

Ağ geçidi kontrolü

Anlamsal önbellek

Tekrarlanan bir istek önbellekten dönebilir ve yanıt üstbilgisi ne kadar tasarruf edildiğini bildirir.

X-OmniRoute-Cache: HIT

Platform hizmetleri

Yerel ağ geçidini genişletin.

Gömülü hizmetler

Bifrost, 9Router veya CLIProxy'yi yönetilen yan bileşen olarak çalıştırın ya da tam bir küme profili işletin.

Bilginiz, bağlamda

Notion ve Obsidian'ı MCP destekli bağlam kaynakları olarak bağlayın.

Yerleşik korumalar

Sağlayıcıya bağımlılık olmadan prompt enjeksiyonu kontrolleri, isteğe bağlı PII maskeleme ve normalleştirilmiş güvenlik filtreleri.

Kullanım hedefleri

Serileri, başarıları ve anlık tasarrufları operasyonel analitikle birlikte izleyin.

Panel

Yapılandırmayı ve örnek çalışma görünümlerini inceleyin.

Aşağıdaki değerler örnek veridir. Yerel paneliniz kendi sağlayıcılarınızı, isteklerinizi ve maliyetlerinizi yansıtır.

localhost:20128/dashboardÖrnek veri
352bağlı sağlayıcı
90+kullanılabilir ücretsiz katman
198bu örnekte sağlıklı
  • Claude Code · OAuth · canlı
  • Cerebras · ücretsiz · canlı
  • Groq · soğuma örneği
  • NVIDIA NIM · ücretsiz · canlı

Cheaper Inference'tan OmniRoute

OmniRoute'u nasıl çalıştıracağınızı seçin.

OmniRoute'u kendiniz barındırın veya barındırılan, maliyete göre sıralanmış bir ağ geçidi için Cheaper Inference'ı kullanın.

Cheaper Inference'ı dene OmniRoute'u kendin barındır (yeni sekmede açılır) GitHub'da görüntüle (yeni sekmede açılır)