OmniRoute / Khả năng sản phẩm

Các kiểm soát bạn có thể xem xét và tự host.

Xem các kiểm soát gateway, dịch vụ nền tảng và dashboard cục bộ mà không coi danh sách tính năng là lời hứa hosting.

Kiểm soát cốt lõi

Những gì đi kèm gateway tự host.

Kiểm soát cốt lõi

Giữ request luôn chạy

Khi một đích không khả dụng hoặc hết hạn mức, OmniRoute chọn đích khỏe mạnh tiếp theo.

Kiểm soát cốt lõi

Nén ngữ cảnh đủ điều kiện

Pipeline 12 engine giảm 15–95% ngữ cảnh đủ điều kiện. Ví dụ nặng về tool trong tài liệu đã giảm được ~89%.

Kiểm soát cốt lõi

Bắt đầu với $0

90+ gói miễn phí và 56 nhà cung cấp miễn phí vĩnh viễn định kỳ hoặc không cần key. Không cần thẻ tín dụng cho khởi động nhanh không cần key.

Kiểm soát cốt lõi

35 tích hợp được hỗ trợ

Cấu hình Claude Code, Codex, Cursor, Cline, Copilot, Antigravity và các client được hỗ trợ khác qua một endpoint.

Kiểm soát cốt lõi

Một endpoint

Nhận request OpenAI, Claude, Gemini và Responses API tại /v1.

Kiểm soát cốt lõi

Kiểm soát vận hành

Circuit breaker, thông tin đăng nhập mã hóa, MCP, A2A, memory, guardrail và eval đi kèm gateway tự host.

Khả năng

Cấu hình đường đi của request từ một dashboard.

Cấu hình fallback, hạn mức, nén, memory, MCP và A2A từ dashboard cục bộ.

Kiểm soát gateway

Smart Combos

Đặt mô hình là auto hoặc tự tạo combo với 19 chiến lược và fallback phân tầng.

Dùng chế độ sẵn có hoặc kết hợp 19 chiến lược xoay quanh mục tiêu quan trọng.

Kiểm soát gateway

Memory

Memory hội thoại bền vững với truy hồi từ khóa FTS5 và vector Qdrant.

Kiểm soát gateway

Khả năng chịu lỗi 3 lớp

Breaker nhà cung cấp, cooldown kết nối và khóa mô hình cô lập lỗi ở phạm vi nhỏ nhất hữu ích.

Kiểm soát gateway

Hạn mức miễn phí

Kế toán khử trùng lặp theo pool trên 90+ gói miễn phí.

Dung lượng gói miễn phí đã công bố, khử trùng lặp.

Kiểm soát gateway

Nén

12 engine có thể kết hợp cho output của tool, ngữ cảnh và kiểu phản hồi.

Giảm 15–95% token đủ điều kiện.

Kiểm soát gateway

MCP server

Server tích hợp sẵn cung cấp 110 công cụ gateway trên 33 phạm vi.

110 công cụ · 33 phạm vi · stdio / HTTP

Kiểm soát gateway

Giao thức A2A

Agent server JSON-RPC với 6 kỹ năng.

6 kỹ năng · JSON-RPC 2.0 · Agent Card

Kiểm soát gateway

Cache ngữ nghĩa

Request lặp lại có thể trả về từ cache, và header phản hồi cho biết đã tiết kiệm được gì.

X-OmniRoute-Cache: HIT

Dịch vụ nền tảng

Mở rộng gateway cục bộ.

Dịch vụ nhúng

Chạy Bifrost, 9Router hoặc CLIProxy làm sidecar được quản lý, hoặc vận hành profile cluster đầy đủ.

Kiến thức của bạn, trong ngữ cảnh

Kết nối Notion và Obsidian làm nguồn ngữ cảnh qua MCP.

Guardrail tích hợp sẵn

Kiểm tra prompt injection, ẩn PII tùy chọn và bộ lọc an toàn chuẩn hóa mà không bị khóa vào nhà cung cấp.

Mục tiêu sử dụng

Theo dõi chuỗi ngày, thành tựu và tiết kiệm trực tiếp bên cạnh phân tích vận hành.

Dashboard

Xem cấu hình và các màn hình vận hành ví dụ.

Các giá trị dưới đây là dữ liệu ví dụ. Dashboard cục bộ của bạn phản ánh nhà cung cấp, request và chi phí của riêng bạn.

localhost:20128/dashboardDữ liệu ví dụ
352nhà cung cấp đã kết nối
90+gói miễn phí khả dụng
198khỏe mạnh trong ví dụ này
  • Claude Code · OAuth · hoạt động
  • Cerebras · miễn phí · hoạt động
  • Groq · ví dụ cooldown
  • NVIDIA NIM · miễn phí · hoạt động

OmniRoute của Cheaper Inference

Chọn cách bạn chạy OmniRoute.

Tự host OmniRoute, hoặc dùng Cheaper Inference để có gateway hosted xếp hạng theo chi phí.