OmniRouteby Cheaper Inference

OmniRoute / ความสามารถของผลิตภัณฑ์

ตัวควบคุมที่คุณตรวจสอบและโฮสต์เองได้

ดูตัวควบคุมเกตเวย์ บริการแพลตฟอร์ม และแดชบอร์ดในเครื่อง โดยไม่ถือว่ารายการฟีเจอร์เป็นคำสัญญาเรื่องการโฮสต์

ดูความสามารถ ลอง Cheaper Inference กลับไปหน้าภาพรวม

ตัวควบคุมหลัก

สิ่งที่มาพร้อมเกตเวย์ที่โฮสต์เอง

ตัวควบคุมหลัก

ให้คำขอเดินต่อได้เสมอ

เมื่อปลายทางใช้งานไม่ได้หรือโควตาหมด OmniRoute จะเลือกปลายทางถัดไปที่ยังทำงานปกติ

ตัวควบคุมหลัก

บีบอัดคอนเท็กซ์ที่เข้าเกณฑ์

ไปป์ไลน์ 12 เอนจินลดคอนเท็กซ์ที่เข้าเกณฑ์ลง 15–95% ตัวอย่างงานที่ใช้เครื่องมือหนักตามเอกสารลดได้ ~89%

ตัวควบคุมหลัก

เริ่มต้นที่ $0

แพ็กเกจฟรี 90+ รายการ และผู้ให้บริการฟรีตลอดแบบรีเซ็ตรายรอบหรือไม่ต้องใช้คีย์อีก 56 ราย เริ่มต้นแบบไม่ใช้คีย์ได้โดยไม่ต้องมีบัตรเครดิต

ตัวควบคุมหลัก

รองรับการเชื่อมต่อ 35 รายการ

ตั้งค่า Claude Code, Codex, Cursor, Cline, Copilot, Antigravity และไคลเอนต์อื่นที่รองรับผ่าน endpoint เดียว

ตัวควบคุมหลัก

endpoint เดียว

รับคำขอแบบ OpenAI, Claude, Gemini และ Responses API ที่ /v1

ตัวควบคุมหลัก

ตัวควบคุมด้านปฏิบัติการ

เซอร์กิตเบรกเกอร์ ข้อมูลรับรองที่เข้ารหัส MCP, A2A หน่วยความจำ guardrails และ evals มาพร้อมกับเกตเวย์ที่โฮสต์เอง

ความสามารถ

ตั้งค่าเส้นทางคำขอจากแดชบอร์ดเดียว

ตั้งค่า fallback โควตา การบีบอัด หน่วยความจำ MCP และ A2A จากแดชบอร์ดในเครื่อง

ตัวควบคุมเกตเวย์

Smart Combos

ตั้งโมเดลเป็น auto หรือสร้างคอมโบของคุณเองด้วยกลยุทธ์ 19 แบบและ fallback แบบหลายระดับ

ใช้โหมดสำเร็จรูป หรือผสมกลยุทธ์ 19 แบบให้เข้ากับเป้าหมายที่คุณให้ความสำคัญ

ตัวควบคุมเกตเวย์

หน่วยความจำ

หน่วยความจำการสนทนาแบบถาวร พร้อมค้นคีย์เวิร์ดด้วย FTS5 และค้นเวกเตอร์ด้วย Qdrant

ตัวควบคุมเกตเวย์

ความทนทาน 3 ชั้น

เบรกเกอร์ผู้ให้บริการ คูลดาวน์การเชื่อมต่อ และล็อกโมเดล แยกความล้มเหลวในขอบเขตที่เล็กที่สุดที่มีประโยชน์

ตัวควบคุมเกตเวย์

โควตาฟรี

บัญชีแบบไม่นับซ้ำในพูลครอบคลุมแพ็กเกจฟรี 90+ รายการ

ความจุแพ็กเกจฟรีที่เผยแพร่ไว้ แบบไม่นับซ้ำ

ตัวควบคุมเกตเวย์

การบีบอัด

12 เอนจินที่ประกอบร่วมกันได้ สำหรับเอาต์พุตเครื่องมือ คอนเท็กซ์ และสไตล์การตอบ

ลดโทเค็นที่เข้าเกณฑ์ลง 15–95%

ตัวควบคุมเกตเวย์

เซิร์ฟเวอร์ MCP

เซิร์ฟเวอร์ในตัวที่เปิดเครื่องมือเกตเวย์ 110 รายการใน 33 ขอบเขต

เครื่องมือ 110 รายการ · 33 ขอบเขต · stdio / HTTP

ตัวควบคุมเกตเวย์

โปรโตคอล A2A

เซิร์ฟเวอร์เอเจนต์ JSON-RPC พร้อม 6 สกิล

6 สกิล · JSON-RPC 2.0 · Agent Card

ตัวควบคุมเกตเวย์

แคชเชิงความหมาย

คำขอที่ซ้ำสามารถตอบกลับจากแคชได้ และ header การตอบกลับจะบอกว่าประหยัดไปเท่าไร

X-OmniRoute-Cache: HIT

บริการแพลตฟอร์ม

ขยายเกตเวย์ในเครื่อง

บริการแบบฝังตัว

รัน Bifrost, 9Router หรือ CLIProxy เป็น sidecar ที่จัดการให้ หรือใช้งานโปรไฟล์คลัสเตอร์แบบเต็ม

ความรู้ของคุณ ในคอนเท็กซ์

เชื่อมต่อ Notion และ Obsidian เป็นแหล่งคอนเท็กซ์ผ่าน MCP

Guardrails ในตัว

ตรวจจับ prompt injection ปิดบัง PII แบบเลือกเปิด และตัวกรองความปลอดภัยแบบมาตรฐานเดียว โดยไม่ผูกกับผู้ให้บริการรายใด

เป้าหมายการใช้งาน

ติดตาม streak ความสำเร็จ และการประหยัดแบบเรียลไทม์ควบคู่กับการวิเคราะห์เชิงปฏิบัติการ

แดชบอร์ด

ดูการตั้งค่าและตัวอย่างมุมมองการทำงาน

ค่าด้านล่างเป็นข้อมูลตัวอย่าง แดชบอร์ดในเครื่องของคุณจะแสดงผู้ให้บริการ คำขอ และค่าใช้จ่ายของคุณเอง

localhost:20128/dashboardข้อมูลตัวอย่าง
352ผู้ให้บริการที่เชื่อมต่อ
90+แพ็กเกจฟรีที่ใช้ได้
198ทำงานปกติในตัวอย่างนี้
  • Claude Code · OAuth · ใช้งานอยู่
  • Cerebras · ฟรี · ใช้งานอยู่
  • Groq · ตัวอย่างคูลดาวน์
  • NVIDIA NIM · ฟรี · ใช้งานอยู่

OmniRoute by Cheaper Inference

เลือกวิธีรัน OmniRoute ของคุณ

โฮสต์ OmniRoute เอง หรือใช้ Cheaper Inference สำหรับเกตเวย์แบบโฮสต์ที่จัดอันดับตามต้นทุน

ลอง Cheaper Inference โฮสต์ OmniRoute เอง (เปิดในแท็บใหม่) ดูบน GitHub (เปิดในแท็บใหม่)