OmniRouteby Cheaper Inference
OmniRoute가 Cheaper Inference에 합류했습니다Cheaper Inference 살펴보기

#1 오픈소스 AI 라우터

하나의 OpenAI 호환 엔드포인트로 352개 제공자에 라우팅하고, 자동 폴백까지 지원합니다.

Cheaper Inference 사용해 보기OmniRoute 셀프 호스팅 (새 탭에서 열림)
OpenAI 호환 무료 오픈소스77.2k 스타 (새 탭에서 열림)

OmniRoute × Cheaper Inference

OmniRoute의 자동 폴백과 개발자 도구를 Cheaper Inference의 비용 순위 마켓플레이스와 결합하세요. 모든 대상 요청은 가장 저렴한 가용 제공자 경로에서 시작합니다.

97개 모델직접 정가와 Cheaper Inference 가격 비교
모델별 직접 정가와 Cheaper Inference 가격 비교
모델입력 가격출력 가격절감컨텍스트상세
gpt-5.6-lunaOpenAI · text$0.20$0.08/ 1M tokens$1.20$0.48/ 1M tokens60% 할인1.1M
gpt-5.6-terraOpenAI · text$2.00$0.80/ 1M tokens$12.00$4.80/ 1M tokens60% 할인1.1M
gpt-oss-120bOpenAI · text$0.10$0.040483/ 1M tokens$0.50$0.202417/ 1M tokens59.52% 할인128K
deepseek-v4.1-flashDeepSeek · text$0.15$0.075/ 1M tokens$0.60$0.30/ 1M tokens50% 할인1.0M
gpt-5.6-solOpenAI · text$4.00$2.00/ 1M tokens$20.00$10.00/ 1M tokens50% 할인1.1M
glm-4.5Z.ai · text$0.60$0.33/ 1M tokens$2.20$1.21/ 1M tokens45% 할인128K
glm-4.6Z.ai · text$0.60$0.33/ 1M tokens$2.20$1.21/ 1M tokens45% 할인198K
glm-4.7Z.ai · text$0.60$0.33/ 1M tokens$2.20$1.21/ 1M tokens45% 할인128K
모델 97개 중 8개 표시
직접 정가 → Cheaper Inference 가격 · 모든 모델 둘러보기 · 실시간 카탈로그 보기 (새 탭에서 열림)2026년 10월 14일 오후 2:00 UTC 가격 확인. 업스트림 가격이나 사용 가능한 경로가 바뀌면 요율이 바뀔 수 있습니다.

핵심 제어

구성한 제공자를 위한 하나의 엔드포인트.

Core control

요청을 멈추지 않게

대상이 사용 불가하거나 할당량이 소진되면 OmniRoute가 다음 정상 대상을 선택합니다.

Core control

대상 컨텍스트 압축

12개 엔진 파이프라인이 대상 컨텍스트를 15–95% 줄입니다. 문서화된 도구 집약 예시에서는 ~89% 줄었습니다.

Core control

$0으로 시작

90+개 무료 티어와 56개의 반복 또는 키 없는 영구 무료 제공자. 키 없는 빠른 시작에는 신용카드가 필요 없습니다.

Core control

35개 지원 통합

Claude Code, Codex, Cursor, Cline, Copilot, Antigravity 등 지원 클라이언트를 하나의 엔드포인트로 구성합니다.

Core control

하나의 엔드포인트

/v1에서 OpenAI, Claude, Gemini, Responses API 요청을 받습니다.

Core control

운영 제어

서킷 브레이커, 암호화된 자격 증명, MCP, A2A, 메모리, 가드레일, 평가가 셀프 호스팅 게이트웨이에 기본 포함됩니다.

카탈로그

모두 하나의 엔드포인트 뒤에.

채팅, 미디어, 검색, 로컬 런타임, 클라우드 에이전트, 시스템 통합을 아우르는 카탈로그.

352개 제공자

이 모든 것이 하나의 로컬 엔드포인트 뒤에.

모든 클라이언트가 가리키는 하나의 엔드포인트http://localhost:20128/v1

14 Search12 Audio-only2 Upstream proxy3 Cloud agent1 System
OpenAIAnthropicGoogleDeepSeekxAIZ.aiMoonshotMiniMaxAlibabaMetaBytedanceAion Labs
25OAuthClaude Code, Codex, Cursor, GitHub Copilot, Kimi Code…
233API 키OpenAI, Anthropic, Groq, NVIDIA, Cerebras, Mistral…
35웹 쿠키ChatGPT Web, Claude Web, Gemini Web, Grok Web…
14로컬Ollama, LM Studio, vLLM, llama.cpp…
13인증 없음OpenCode Free, Felo, Pollinations 및 기타 키 없는 경로…
제공자 레퍼런스 살펴보기 (opens in a new tab)

빠른 시작

설치, 실행, 연결.

패키지를 설치하고 게이트웨이를 실행한 뒤, OpenAI 호환 클라이언트를 20128 포트로 연결하세요.

제공자 카탈로그
352
라우팅 전략
19
로컬 엔드포인트
:20128/v1

Step 1: 설치

omniroute npm 패키지를 전역으로 설치합니다.

omniroute: install
$ npm install -g omnirouteadded 1 package

Step 2: 실행

20128 포트에서 API와 대시보드를 함께 실행합니다.

omniroute: run
$ omniroute▸ dashboard ✓ http://localhost:20128/dashboard▸ api ...... ✓ serving on :20128

Step 3: 도구 연결

http://localhost:20128/v1를 사용하세요. 키 없는 auto 경로는 새 설치에서 바로 동작합니다.

omniroute: connect
$ curl localhost:20128/v1/models✓ models listed

게이트웨이 제어

핵심 게이트웨이 제어를 하나의 프로세스에서.

폴백, 할당량, 압축, 메모리, MCP, A2A를 로컬 대시보드에서 구성합니다.

Gateway control

스마트 콤보

모델을 auto로 설정하거나 19가지 전략과 계층형 폴백으로 직접 콤보를 만드세요.

기본 제공 모드를 사용하거나 중요한 목표에 맞춰 19가지 전략을 조합하세요.

Gateway control

메모리

FTS5 키워드와 Qdrant 벡터 리콜을 갖춘 영구 대화 메모리.

Gateway control

3계층 복원력

제공자 브레이커, 연결 쿨다운, 모델 잠금이 가장 작은 유효 범위에서 장애를 격리합니다.

Gateway control

무료 할당량

90+개 무료 티어에 걸친 풀 중복 제거 회계.

공개된 무료 티어 용량, 중복 제거.

Gateway control

압축

도구 출력, 컨텍스트, 응답 스타일을 위한 12개의 조합 가능한 엔진.

대상 토큰을 15–95% 줄이세요.

Gateway control

MCP 서버

33개 스코프에 걸쳐 110개 게이트웨이 도구를 노출하는 내장 서버.

110개 도구 · 33개 스코프 · stdio / HTTP

Gateway control

A2A 프로토콜

6개 스킬을 갖춘 JSON-RPC 에이전트 서버.

6개 스킬 · JSON-RPC 2.0 · Agent Card

Gateway control

시맨틱 캐시

반복 요청은 캐시에서 반환될 수 있으며, 응답 헤더가 절감 내용을 알려줍니다.

X-OmniRoute-Cache: HIT

클라이언트 호환성

기존 코딩 도구를 그대로 사용하세요.

OpenAI 호환 CLI나 에디터를 하나의 로컬 기본 URL로 연결하면, 뒤의 제공자는 OmniRoute가 처리합니다.

Claude Code
Codex CLI
Cursor
Cline
GitHub Copilot
Gemini CLI
OpenCode
Kilo Code
Factory Droid
Continue
Roo Code
Antigravity
Aider
OpenClaw
Goose
Grok Build
Windsurf
Devin CLI

http://localhost:20128/v1

request.sh
curl http://localhost:20128/v1/chat/completions \
  -H "Authorization: Bearer $OMNIROUTE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Hello"}]}'

OmniCopilot

Copilot Chat에서 OmniRoute 모델을 사용하세요.

OmniCopilot이 기존 모델 선택기에 OmniRoute 모델을 추가합니다.

공식 Marketplace

VS Code 안정 버전과 Insiders에서 동작합니다. Marketplace나 확장 보기에서 설치하세요.

Open VSX Registry

Cursor, Windsurf, VSCodium, Theia, code-server, Gitpod 및 기타 호환 에디터용.

Copilot 플랜 불필요

Copilot 플랜을 거치지 않고도 Copilot Chat에서 OmniRoute를 통해 제공자 모델을 실행할 수 있습니다.

VS Code Marketplace (새 탭에서 열림)Open VSX Registry (새 탭에서 열림)OmniCopilot source (새 탭에서 열림)

흔한 장애 유형

OmniRoute를 쓰는 이유

흔한 장애 유형마다 어떤 제어가 해결하는지 확인하세요.

Without routing
With OmniRoute
할당량이 쓰이지 않고 만료됨
이미 보유한 할당량을 추적하고 소진
속도 제한이 작업 중간에 멈추게 함
밀리초 단위의 4계층 자동 폴백
도구 출력이 토큰을 소모함
12개 엔진 압축, 대상 콘텐츠에서 15–95% 절감
비싼 API 비용이 쌓임
비용 최적화 라우팅이 가장 저렴한 대상을 선택
도구마다 별도 설정이 필요함
하나의 엔드포인트와 하나의 대시보드
내 네트워크에서 제공자에 접근 불가
프록시 스코프와 클라이언트 핑거프린트 제어
죽은 키 하나가 제공자를 망가뜨림
브레이커, 쿨다운, 잠금이 장애를 격리
팀이 구독 하나를 공유함
키 풀과 공정 분배 할당량
라우팅 데이터를 로컬에서 제어해야 함
암호화된 자격 증명을 갖춘 로컬 우선 저장
지출과 상태를 볼 수 없음
사용량, 할당량, 절감액, 지연 시간 분석

문서 스냅샷

게이트웨이 비교

2026-08-30 기준으로 링크된 프로젝트 문서와 대조해 확인한 기능입니다.

기능OmniRoute (새 탭에서 열림)9Router (새 탭에서 열림)LiteLLM (새 탭에서 열림)CLIProxyAPI (새 탭에서 열림)
제공자35240+100+8+ upstreams
라우팅 전략193-tierretry / priorityround-robin / fill-first
UI를 갖춘 계층형 폴백YesYesManual policyMulti-account
토큰 압축12 engines · 15–95%RTK / Headroom / CavemanNo built-in pipelineHTTP compression

공개 README와 공식 문서 스냅샷입니다. 구매나 배포 결정 전에 링크된 출처를 검증하세요.

배포

OmniRoute를 실행하는 9가지 지원 방법.

노트북, 서버, 휴대폰에 설치하거나 지원 에디터와 플러그인으로 연결하세요.

npm

지원되는 모든 데스크톱 OS에서 명령 하나로

npm install -g omniroute가이드 열기 (새 탭에서 열림)

Docker

AMD64 및 ARM64 멀티 아키텍처 이미지

docker run … diegosouzapw/omniroute가이드 열기 (새 탭에서 열림)

Desktop

Windows, macOS, Linux의 네이티브 창과 시스템 트레이

npm run electron:build가이드 열기 (새 탭에서 열림)

ARM

Raspberry Pi, ARM 서버, Apple Silicon

native arm64

Android · Termux

루팅 없이 Android에서 실행

pkg install nodejs && npx -y omniroute가이드 열기 (새 탭에서 열림)

PWA

전체 화면, 오프라인 지원, 브라우저에서 설치 가능

Add to Home Screen가이드 열기 (새 탭에서 열림)

OpenCode plugin

네이티브 OpenCode 제공자 플러그인

@omniroute/opencode-provider가이드 열기 (새 탭에서 열림)

VS Code

Copilot Chat 선택기의 OmniRoute 모델

Install OmniCopilot가이드 열기 (새 탭에서 열림)

From source

직접 수정하고 기여하기

npm install && npm run dev가이드 열기 (새 탭에서 열림)

라우팅

auto 경로를 선택하세요.

기본 제공 모드를 사용하거나 중요한 목표에 맞춰 19가지 전략을 조합하세요.

모델 · 폴백 활성화autoBalanced default
OpenAI 호환 요청
curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Routing alias auto selected. Objective: Balanced default. Fallback enabled.

구독 할당량 소진

유료 API를 쓰기 전에 이미 보유한 할당량을 먼저 사용합니다.

priority · fill-first

부하 분산

키와 계정에 트래픽을 분산해 속도 제한 부담을 줄입니다.

weighted · round-robin · p2c · least-used · headroom

최저가 우선

가장 저렴한 대상으로 라우팅합니다.

cost-optimized

컨텍스트 인식

긴 컨텍스트는 수용 가능한 모델에 유지하고, 필요할 때 릴레이합니다.

context-relay · context-optimized · cache-optimized

무작위

대상 트래픽을 여러 대상에 분배합니다.

random · strict-random

적응형 점수

15개 요인 점수, 최근 정상 기록, 리셋 인식 윈도우를 사용합니다.

reset-window · reset-aware · lkgp · auto · fusion · pipeline

무료 티어 회계

공개된 무료 티어 용량, 중복 제거.

455개 카탈로그 항목이 40개 반복 풀로 중복 제거되며, 공개된 양의 예산만 헤드라인에 반영됩니다.

1.51B

풀 중복 제거 회계는 공유 할당량이 두 번 계산되지 않게 합니다. 상한 없는 제공자는 토큰 총량을 부풀리지 않고 표시됩니다. Checked 2026-08-30.

계산 보기 (새 탭에서 열림)
반복 또는 키 없는 영구 무료 제공자56
  • Mistral1B/month
  • LLM7150M/month
  • Nara150M/month
  • Gemini CLI · forever60M/month
  • Kiro50 credits/month
  • Qoder · foreverFree catalog
  • LongCat · forever50M/day
  • Cerebras1M/day
  • NVIDIA NIM~40 RPM
  • Pollinations · foreverNo key
  • Cloudflare Workers AI · foreverDaily neurons
  • OpenCode Free · foreverNo-auth catalog

컨텍스트 압축

대상 토큰을 15–95% 줄이세요.

도구 출력, 반복 컨텍스트, 비대한 구조화 데이터를 모델에 도달하기 전에 압축할 수 있습니다.

대상 토큰에서 15–95% 줄어든 컨텍스트

이전: The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total. 이후: sum all list items where value > 0

  1. Session-Dedup
  2. CCR
  3. Lite
  4. RTK
  5. Responses Tool Output
  6. Headroom
  7. Relevance
  8. Caveman
  9. Aggressive
  10. LLMLingua-2
  11. Ultra
  12. OmniGlyph

같은 지시. 비용은 더 적은 컨텍스트로.

이전69 tokens
The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.
이후19 tokens
sum all list items where value > 0

조합 가능한 파이프라인

  1. Session-Dedup
    세션에서 이미 보낸 내용을 제거합니다.
  2. CCR
    큰 블록을 보관하고 필요할 때 복원합니다.
  3. Lite
    보수적인 무손실 정리를 적용합니다.
  4. RTK
    명령 및 도구 출력을 필터링하고 중복 제거합니다.
  5. Responses Tool Output
    Responses API 도구 페이로드를 압축합니다.
  6. Headroom
    되돌릴 수 있는 표 형식 및 구조화 데이터 압축을 적용합니다.
  7. Relevance
    최신 쿼리와 가장 관련 있는 문장을 유지합니다.
  8. Caveman
    규칙 기반 산문 축약을 사용합니다.
  9. Aggressive
    더 강하게 구성된 프루닝을 적용합니다.
  10. LLMLingua-2
    격리된 워커에서 코드 안전 시맨틱 프루닝을 사용합니다.
  11. Ultra
    높은 절감 단계와 보존 가드를 결합합니다.
  12. OmniGlyph
    반복되는 대상 구조를 간결하게 인코딩합니다.

프로필

공개된 프로필 범위~30%x-omniroute-compression: standard

Standard 압축 선택됨. 공개 범위 ~30%.

제어 및 출력 스타일

  • 이름 있는 프로필과 활성 선택기
  • 시각적 Compression Studio
  • Anthropic Context Editing
  • 적응형 컨텍스트 예산 다이얼
  • 요청별 \
  • 헤더
  • 오프라인 평가 하네스
  • 토큰 임계값 자동 트리거
  • Terse prose
  • Less code (YAGNI)
  • Terse CJK 文言

제어 우선순위: 요청 헤더 → 콤보 → 프로필 → 적응형 정책 → 기본값.

장애 격리

제공자, 연결, 모델 장애를 격리합니다.

잘못된 키 하나가 제공자를 죽여선 안 됩니다. 제한된 모델 하나가 연결을 죽여선 안 됩니다.

모델 ⊂ 연결 ⊂ 제공자
제공자 서킷 브레이커제공자가 비정상이면 하프오픈 프로브가 성공할 때까지 콤보 라우팅이 해당 제공자를 건너뜁니다.
연결 쿨다운키나 계정 하나만 쿨다운하고 나머지 연결은 계속 서비스합니다.
모델 잠금속도 제한이나 사용 불가 상태인 모델 하나만 잠그고, 같은 연결의 다른 모델은 계속 사용할 수 있습니다.

네트워크 제어

네트워크 라우팅과 로컬 데이터 제어.

프록시 스코프가 네트워크 라우팅을 제어하고, 로컬 우선 저장이 운영 데이터를 내 컴퓨터에 유지합니다.

세 가지 프록시 스코프

전역, 제공자별 또는 개별 연결별로 라우팅합니다.

  • 전역 · 제공자별 · 연결별
  • SOCKS5 및 HTTP(S) 프록시
  • 프록시 마켓플레이스 통합

TLS 및 클라이언트 핑거프린트 제어

선택한 전송 특성까지 지원 제공자 클라이언트와 일치시킵니다.

  • wreq-js 기반 JA3/JA4 지원 전송
  • 제공자별 클라이언트 프로필
  • IPv4 및 IPv6 이그레스 제어

프라이빗하고 로컬 우선

키, 사용량, 기록이 내가 제어하는 호스트에 남습니다.

  • AES-256-GCM 암호화 자격 증명을 담은 디스크 상의 SQLite
  • OmniRoute 계정 불필요
  • 원하는 인프라에 셀프 호스팅
러시아중국이란쿠바튀르키예

로컬 대시보드

YAML 편집 없이 OmniRoute를 구성하세요.

localhost:20128/dashboard에서 제공자, 콤보, 분석, 상태, 비용을 관리합니다.

localhost:20128/dashboard예시 데이터
352연결된 제공자
90+사용 가능한 무료 티어
198이 예시에서 정상
  • Claude Code · OAuth · 라이브
  • Cerebras · 무료 · 라이브
  • Groq · 쿨다운 예시
  • NVIDIA NIM · 무료 · 라이브

에이전트 프로토콜

OmniRoute를 MCP와 A2A로 노출하세요.

OmniRoute는 게이트웨이를 MCP 클라이언트, A2A 네트워크, 지원 클라우드 코딩 에이전트에 노출할 수 있습니다.

MCP 서버

stdio 및 HTTP 전송으로 33개 스코프에 걸친 110개 도구.

110개 도구 · 33개 스코프 · stdio / HTTP

claude mcp add omniroute --type http --url http://localhost:20128/api/mcp/stream

A2A 서버

JSON-RPC 2.0으로 스마트 라우팅, 할당량, 검색, 비용 분석, 상태 보고를 위한 6개 스킬.

6개 스킬 · JSON-RPC 2.0 · Agent Card

클라우드 에이전트

지원되는 Codex, Cursor, Devin, Jules 워크플로를 하나의 오케스트레이션 화면으로 연결합니다.

Codex · Cursor · Devin · Jules

추가 서비스

게이트웨이를 확장하세요.

내장 서비스

Bifrost, 9Router, CLIProxy를 관리형 사이드카로 실행하거나 전체 클러스터 프로필을 운영하세요.

내 지식을 컨텍스트에

Notion과 Obsidian을 MCP 기반 컨텍스트 소스로 연결합니다.

내장 가드레일

제공자 종속 없는 프롬프트 인젝션 검사, 선택형 PII 마스킹, 정규화된 안전 필터.

사용 목표

운영 분석과 함께 스트릭, 업적, 실시간 절감액을 추적합니다.

커뮤니티에서

OmniRoute는 이렇게 쓰이고 이야기됩니다.

개발자들이 X, Reddit, YouTube에서 무엇을 만들고, 묻고, 공유하는지 보세요.

32개 채널의 32개 영상커뮤니티 영상 32개 모두 보기

Profile picture of Peng
Peng@pengsonal
Link to tweet (opens in a new tab)
one local endpoint for cursor / cline / claude code / copilot 😳 OmniRoute (24.7k★ on GitHub) runs a self-hosted router on your machine so you only need one base URL for all your coding agents. wha…

25 posts from X · 25 Reddit posts모든 게시물 보기

공개적으로 개발

리포지토리 활동

체크인된 GitHub 스냅샷에서 스타, 포크, 기여자, 릴리스를 확인하세요.

  • 11,169포크
  • 832기여자
  • 281릴리스 배포
  • 8,942PR 병합
  • 5,072이슈 종료
  • 30,000자동화 테스트

2026-10-16 기준 스냅샷

Discord

채팅, 지원, 로드맵

(새 탭에서 열림)

Telegram

뉴스와 공지

(새 탭에서 열림)

WhatsApp 🌍

글로벌 커뮤니티

(새 탭에서 열림)

WhatsApp 🇧🇷

Comunidade Brasil

(새 탭에서 열림)
기여자 만나기 (새 탭에서 열림)

OmniRoute by Cheaper Inference

OmniRoute 실행 방식을 선택하세요.

OmniRoute를 셀프 호스팅하거나, 호스팅형 비용 순위 게이트웨이인 Cheaper Inference로 시작하세요.

Cheaper Inference 사용해 보기 OmniRoute 셀프 호스팅 (새 탭에서 열림)