OmniRoute / Roteamento e controle

Escolha como cada requisição se move.

Inspecione estratégias de roteamento, contabilidade de níveis gratuitos, compressão, isolamento de falhas e controles de rede.

Inspecionar roteamento Testar a Cheaper Inference Voltar à visão geral

Estratégias de roteamento

Escolha uma rota `auto` ou monte a sua.

Use um modo pronto ou combine 19 estratégias em torno do objetivo que importa.

Modelo · fallback ativadoautoBalanced default

Requisição compatível com OpenAI

curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Consumir cota da assinatura

Use a cota que você já tem antes de recorrer a APIs pagas.

priority · fill-first

Distribuir carga

Balanceie o tráfego entre chaves e contas para reduzir a pressão de rate limit.

weighted · round-robin · p2c · least-used · headroom

Mais barato primeiro

Roteie para o destino elegível de menor custo.

cost-optimized

Sensível ao contexto

Mantenha contextos longos em modelos que os suportam e repasse quando necessário.

context-relay · context-optimized · cache-optimized

Aleatório

Distribua o tráfego elegível entre os destinos.

random · strict-random

Pontuação adaptativa

Use pontuação com 15 fatores, último destino bom conhecido e janelas cientes de reset.

reset-window · reset-aware · lkgp · auto · fusion · pipeline

Contabilidade de níveis gratuitos

Aproximadamente 1.51B tokens publicados por mês.

455 entradas do catálogo são deduplicadas em 40 pools recorrentes; só orçamentos positivos publicados entram no número principal.

1.51B

A contabilidade deduplicada por pool evita que cotas compartilhadas sejam contadas mais de uma vez. Provedores sem limite continuam visíveis sem inflar o total de tokens. Checked 2026-08-30.

View the calculation

Provedores gratuitos para sempre, recorrentes ou sem chave56

Mistral1B/month
LLM7150M/month
Nara150M/month
Gemini CLI · forever60M/month
Kiro50 credits/month
Qoder · foreverFree catalog
LongCat · forever50M/day
Cerebras1M/day
NVIDIA NIM~40 RPM
Pollinations · foreverNo key
Cloudflare Workers AI · foreverDaily neurons
OpenCode Free · foreverNo-auth catalog

Compressão de contexto

Reduza tokens elegíveis em 15–95%.

Saída de ferramentas, contexto repetido e dados estruturados inchados podem ser comprimidos antes de chegar ao modelo.

Illustrative Ultra profile example from the audited documentation.

Before69 tokens

The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.

After19 tokens

sum all list items where value > 0

Composable pipeline

Session-Dedup
Descarte conteúdo já enviado antes na sessão.
CCR
Arquive blocos grandes e restaure sob demanda.
Lite
Aplique limpeza conservadora sem perdas.
RTK
Filtre e deduplique saída de comandos e ferramentas.
Responses Tool Output
Compacte payloads de ferramentas da Responses API.
Headroom
Aplique compactação reversível de dados tabulares e estruturados.
Relevance
Mantenha as frases mais relevantes para a consulta mais recente.
Caveman
Use condensação de prosa baseada em regras.
Aggressive
Aplique a poda configurada mais forte.
LLMLingua-2
Use poda semântica segura para código em um worker isolado.
Ultra
Combine estágios de alta economia com proteções de preservação.
OmniGlyph
Codifique de forma compacta estruturas repetidas elegíveis.

Profiles

Faixa publicada do perfil~30%x-omniroute-compression: standard

Controls and output styles

Perfis nomeados e seletor ativo
Visual Compression Studio
Anthropic Context Editing
Ajuste adaptativo de orçamento de contexto
Header \
por requisição
Harness de eval offline
Disparo automático por limite de tokens
Terse prose
Less code (YAGNI)
Terse CJK 文言

Precedência de controle: header da requisição → combo → perfil → política adaptativa → padrão.

Isolamento de falhas

Isole falhas de provedor, conexão e modelo.

Uma chave ruim não deve derrubar um provedor. Um modelo limitado não deve derrubar uma conexão.

modelo ⊂ conexão ⊂ provedor

Circuit breaker por provedorQuando um provedor está com problemas, o roteamento por combo o ignora até que uma sonda half-open tenha sucesso.

Cooldown de conexãoColoque uma chave ou conta em cooldown enquanto as conexões irmãs continuam atendendo.

Bloqueio de modeloBloqueie um modelo com rate limit ou indisponível enquanto os outros modelos da conexão continuam disponíveis.

Controles de rede e dados locais

Controles de roteamento de rede e dados locais.

Escopos de proxy controlam o roteamento de rede enquanto o armazenamento local-first mantém os dados operacionais na sua máquina.

Três escopos de proxy

Roteie globalmente, por provedor ou por conexão individual.

Global · por provedor · por conexão
Proxies SOCKS5 e HTTP(S)
Integração com marketplace de proxies

Controles de fingerprint TLS e do cliente

Imite clientes de provedores suportados até em características selecionadas do transporte.

Transporte com suporte a JA3/JA4 via wreq-js
Perfis de cliente específicos por provedor
Controles de saída IPv4 e IPv6

Privado e local-first

Chaves, uso e histórico ficam no host que você controla.

SQLite em disco com credenciais criptografadas em AES-256-GCM
Nenhuma conta OmniRoute necessária
Auto-hospede na infraestrutura que você escolher

RússiaChinaIrãCubaTurquia