OmniRoute / 라우팅 및 제어

각 요청의 이동 방식을 선택하세요.

라우팅 전략, 무료 티어 회계, 압축, 장애 격리, 네트워크 제어를 확인하세요.

라우팅 전략

`auto` 경로를 선택하거나 직접 만드세요.

기본 제공 모드를 사용하거나 중요한 목표에 맞춰 19가지 전략을 조합하세요.

모델 · 폴백 활성화autoBalanced default
OpenAI 호환 요청
curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Routing alias auto selected. Objective: Balanced default. Fallback enabled.

구독 할당량 소진

유료 API를 쓰기 전에 이미 보유한 할당량을 먼저 사용합니다.

priority · fill-first

부하 분산

키와 계정에 트래픽을 분산해 속도 제한 부담을 줄입니다.

weighted · round-robin · p2c · least-used · headroom

최저가 우선

가장 저렴한 대상으로 라우팅합니다.

cost-optimized

컨텍스트 인식

긴 컨텍스트는 수용 가능한 모델에 유지하고, 필요할 때 릴레이합니다.

context-relay · context-optimized · cache-optimized

무작위

대상 트래픽을 여러 대상에 분배합니다.

random · strict-random

적응형 점수

15개 요인 점수, 최근 정상 기록, 리셋 인식 윈도우를 사용합니다.

reset-window · reset-aware · lkgp · auto · fusion · pipeline

무료 티어 회계

매월 약 1.51B 공개 토큰.

455개 카탈로그 항목이 40개 반복 풀로 중복 제거되며, 공개된 양의 예산만 헤드라인에 반영됩니다.

1.51B

풀 중복 제거 회계는 공유 할당량이 두 번 계산되지 않게 합니다. 상한 없는 제공자는 토큰 총량을 부풀리지 않고 표시됩니다. Checked 2026-08-30.

View the calculation (새 탭에서 열림)
반복 또는 키 없는 영구 무료 제공자56
  • Mistral1B/month
  • LLM7150M/month
  • Nara150M/month
  • Gemini CLI · forever60M/month
  • Kiro50 credits/month
  • Qoder · foreverFree catalog
  • LongCat · forever50M/day
  • Cerebras1M/day
  • NVIDIA NIM~40 RPM
  • Pollinations · foreverNo key
  • Cloudflare Workers AI · foreverDaily neurons
  • OpenCode Free · foreverNo-auth catalog

컨텍스트 압축

대상 토큰을 15–95% 줄이세요.

도구 출력, 반복 컨텍스트, 비대한 구조화 데이터를 모델에 도달하기 전에 압축할 수 있습니다.

Illustrative Ultra profile example from the audited documentation.

Before69 tokens
The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.
After19 tokens
sum all list items where value > 0

Composable pipeline

  1. Session-Dedup
    세션에서 이미 보낸 내용을 제거합니다.
  2. CCR
    큰 블록을 보관하고 필요할 때 복원합니다.
  3. Lite
    보수적인 무손실 정리를 적용합니다.
  4. RTK
    명령 및 도구 출력을 필터링하고 중복 제거합니다.
  5. Responses Tool Output
    Responses API 도구 페이로드를 압축합니다.
  6. Headroom
    되돌릴 수 있는 표 형식 및 구조화 데이터 압축을 적용합니다.
  7. Relevance
    최신 쿼리와 가장 관련 있는 문장을 유지합니다.
  8. Caveman
    규칙 기반 산문 축약을 사용합니다.
  9. Aggressive
    더 강하게 구성된 프루닝을 적용합니다.
  10. LLMLingua-2
    격리된 워커에서 코드 안전 시맨틱 프루닝을 사용합니다.
  11. Ultra
    높은 절감 단계와 보존 가드를 결합합니다.
  12. OmniGlyph
    반복되는 대상 구조를 간결하게 인코딩합니다.

Profiles

공개된 프로필 범위~30%x-omniroute-compression: standard

Standard 압축 선택됨. 공개 범위 ~30%.

Controls and output styles

  • 이름 있는 프로필과 활성 선택기
  • 시각적 Compression Studio
  • Anthropic Context Editing
  • 적응형 컨텍스트 예산 다이얼
  • 요청별 \
  • 헤더
  • 오프라인 평가 하네스
  • 토큰 임계값 자동 트리거
  • Terse prose
  • Less code (YAGNI)
  • Terse CJK 文言

제어 우선순위: 요청 헤더 → 콤보 → 프로필 → 적응형 정책 → 기본값.

장애 격리

제공자, 연결, 모델 장애를 격리합니다.

잘못된 키 하나가 제공자를 죽여선 안 됩니다. 제한된 모델 하나가 연결을 죽여선 안 됩니다.

모델 ⊂ 연결 ⊂ 제공자
제공자 서킷 브레이커제공자가 비정상이면 하프오픈 프로브가 성공할 때까지 콤보 라우팅이 해당 제공자를 건너뜁니다.
연결 쿨다운키나 계정 하나만 쿨다운하고 나머지 연결은 계속 서비스합니다.
모델 잠금속도 제한이나 사용 불가 상태인 모델 하나만 잠그고, 같은 연결의 다른 모델은 계속 사용할 수 있습니다.

네트워크 및 로컬 데이터 제어

네트워크 라우팅과 로컬 데이터 제어.

프록시 스코프가 네트워크 라우팅을 제어하고, 로컬 우선 저장이 운영 데이터를 내 컴퓨터에 유지합니다.

세 가지 프록시 스코프

전역, 제공자별 또는 개별 연결별로 라우팅합니다.

  • 전역 · 제공자별 · 연결별
  • SOCKS5 및 HTTP(S) 프록시
  • 프록시 마켓플레이스 통합

TLS 및 클라이언트 핑거프린트 제어

선택한 전송 특성까지 지원 제공자 클라이언트와 일치시킵니다.

  • wreq-js 기반 JA3/JA4 지원 전송
  • 제공자별 클라이언트 프로필
  • IPv4 및 IPv6 이그레스 제어

프라이빗하고 로컬 우선

키, 사용량, 기록이 내가 제어하는 호스트에 남습니다.

  • AES-256-GCM 암호화 자격 증명을 담은 디스크 상의 SQLite
  • OmniRoute 계정 불필요
  • 원하는 인프라에 셀프 호스팅
러시아중국이란쿠바튀르키예

OmniRoute by Cheaper Inference

OmniRoute 실행 방식을 선택하세요.

OmniRoute를 셀프 호스팅하거나, 호스팅형 비용 순위 게이트웨이인 Cheaper Inference를 사용하세요.