OmniRouteby Cheaper Inference

OmniRoute / Định tuyến và kiểm soát

Chọn cách mỗi request di chuyển.

Xem chiến lược định tuyến, kế toán gói miễn phí, nén, cô lập lỗi và kiểm soát mạng.

Xem định tuyến Dùng thử Cheaper Inference Về trang tổng quan

Chiến lược định tuyến

Chọn route `auto` hoặc tự tạo route riêng.

Dùng chế độ sẵn có hoặc kết hợp 19 chiến lược xoay quanh mục tiêu quan trọng.

Mô hình · đã bật fallbackautoBalanced default
Request tương thích OpenAI
curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Routing alias auto selected. Objective: Balanced default. Fallback enabled.

Dùng hết hạn mức thuê bao

Dùng hạn mức bạn đã có trước khi đụng tới API trả phí.

priority · fill-first

Phân tải

Cân bằng lưu lượng giữa các key và tài khoản để giảm áp lực giới hạn tốc độ.

weighted · round-robin · p2c · least-used · headroom

Rẻ nhất trước

Định tuyến tới đích đủ điều kiện có chi phí thấp nhất.

cost-optimized

Nhận biết ngữ cảnh

Giữ ngữ cảnh dài trên mô hình phù hợp, rồi chuyển tiếp khi cần.

context-relay · context-optimized · cache-optimized

Ngẫu nhiên

Phân phối lưu lượng đủ điều kiện giữa các đích.

random · strict-random

Chấm điểm thích ứng

Dùng chấm điểm 15 yếu tố, last-known-good và cửa sổ nhận biết reset.

reset-window · reset-aware · lkgp · auto · fusion · pipeline

Kế toán gói miễn phí

Khoảng 1.51B token đã công bố mỗi tháng.

455 mục trong danh mục được khử trùng lặp thành 40 pool định kỳ; chỉ ngân sách dương đã công bố mới tính vào con số chính.

1.51B

Kế toán khử trùng lặp theo pool tránh đếm hạn mức dùng chung nhiều lần. Nhà cung cấp không giới hạn vẫn hiển thị mà không làm phồng tổng token. Checked 2026-08-30.

View the calculation (mở trong tab mới)
Nhà cung cấp miễn phí vĩnh viễn định kỳ hoặc không cần key56
  • Mistral1B/month
  • LLM7150M/month
  • Nara150M/month
  • Gemini CLI · forever60M/month
  • Kiro50 credits/month
  • Qoder · foreverFree catalog
  • LongCat · forever50M/day
  • Cerebras1M/day
  • NVIDIA NIM~40 RPM
  • Pollinations · foreverNo key
  • Cloudflare Workers AI · foreverDaily neurons
  • OpenCode Free · foreverNo-auth catalog

Nén ngữ cảnh

Giảm 15–95% token đủ điều kiện.

Output của tool, ngữ cảnh lặp lại và dữ liệu có cấu trúc cồng kềnh có thể được nén trước khi tới mô hình.

Illustrative Ultra profile example from the audited documentation.

Before69 tokens
The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.
After19 tokens
sum all list items where value > 0

Composable pipeline

  1. Session-Dedup
    Bỏ nội dung đã gửi trước đó trong phiên.
  2. CCR
    Lưu trữ các khối lớn và khôi phục khi cần.
  3. Lite
    Áp dụng dọn dẹp không mất dữ liệu thận trọng.
  4. RTK
    Lọc và khử trùng lặp output của lệnh và tool.
  5. Responses Tool Output
    Nén gọn payload tool của Responses API.
  6. Headroom
    Áp dụng nén gọn có thể đảo ngược cho dữ liệu bảng và có cấu trúc.
  7. Relevance
    Giữ các câu liên quan nhất tới truy vấn mới nhất.
  8. Caveman
    Dùng cô đặc văn xuôi theo quy tắc.
  9. Aggressive
    Áp dụng cắt tỉa mạnh hơn theo cấu hình.
  10. LLMLingua-2
    Dùng cắt tỉa ngữ nghĩa an toàn cho code trong worker cô lập.
  11. Ultra
    Kết hợp các giai đoạn tiết kiệm cao với cơ chế bảo toàn.
  12. OmniGlyph
    Mã hóa gọn các cấu trúc lặp lại đủ điều kiện.

Profiles

Khoảng đã công bố của profile~30%x-omniroute-compression: standard

Đã chọn nén Standard. Khoảng công bố ~30%.

Controls and output styles

  • Profile có tên và bộ chọn đang hoạt động
  • Visual Compression Studio
  • Anthropic Context Editing
  • Nút điều chỉnh ngân sách ngữ cảnh thích ứng
  • Header \
  • theo từng request
  • Bộ eval offline
  • Tự kích hoạt theo ngưỡng token
  • Terse prose
  • Less code (YAGNI)
  • Terse CJK 文言

Thứ tự ưu tiên kiểm soát: header request → combo → profile → chính sách thích ứng → mặc định.

Cô lập lỗi

Cô lập lỗi nhà cung cấp, kết nối và mô hình.

Một key hỏng không nên làm hỏng cả nhà cung cấp. Một mô hình bị giới hạn không nên làm hỏng cả kết nối.

mô hình ⊂ kết nối ⊂ nhà cung cấp
Circuit breaker nhà cung cấpKhi nhà cung cấp không khỏe, định tuyến combo bỏ qua nó cho tới khi probe half-open thành công.
Cooldown kết nốiCho một key hoặc tài khoản nghỉ trong khi các kết nối anh em vẫn phục vụ.
Khóa mô hìnhKhóa một mô hình bị giới hạn tốc độ hoặc không khả dụng trong khi các mô hình khác trên kết nối vẫn sẵn sàng.

Kiểm soát mạng và dữ liệu cục bộ

Định tuyến mạng và kiểm soát dữ liệu cục bộ.

Phạm vi proxy kiểm soát định tuyến mạng, còn lưu trữ ưu tiên cục bộ giữ dữ liệu vận hành trên máy của bạn.

Ba phạm vi proxy

Định tuyến toàn cục, theo nhà cung cấp hoặc theo từng kết nối.

  • Toàn cục · theo nhà cung cấp · theo kết nối
  • Proxy SOCKS5 và HTTP(S)
  • Tích hợp marketplace proxy

Kiểm soát fingerprint TLS và client

Khớp với client của nhà cung cấp được hỗ trợ tới từng đặc tính transport được chọn.

  • Transport hỗ trợ JA3/JA4 qua wreq-js
  • Profile client theo từng nhà cung cấp
  • Kiểm soát egress IPv4 và IPv6

Riêng tư và ưu tiên cục bộ

Key, mức sử dụng và lịch sử nằm trên host bạn kiểm soát.

  • SQLite trên đĩa với thông tin đăng nhập mã hóa AES-256-GCM
  • Không cần tài khoản OmniRoute
  • Tự host trên hạ tầng bạn chọn
NgaTrung QuốcIranCubaThổ Nhĩ Kỳ

OmniRoute của Cheaper Inference

Chọn cách bạn chạy OmniRoute.

Tự host OmniRoute, hoặc dùng Cheaper Inference để có gateway hosted xếp hạng theo chi phí.

Dùng thử Cheaper Inference Tự host OmniRoute (mở trong tab mới) Xem trên GitHub (mở trong tab mới)