OmniRoute / Beveiliging en datacontrole

Controles waarvan je de broncode kunt lezen.

Guardrails op het verzoekpad, netwerk- en identiteitscontroles, versleutelde lokale credentials, en wat achteraf controleerbaar blijft.

Controles

Wat de gateway controleert, en waar.

Elke controle hieronder draait in het proces dat jij host. Niets ervan hangt af van een Cheaper Inference-account.

Op het verzoekpad

Controles die draaien voordat een prompt de machine verlaat en voordat een antwoord de aanroeper bereikt.

  • Prompt-injectiebescherming op elk gerouteerd verzoek
  • Optionele credential-maskering die gelekte sleutels in beide richtingen redigeert
  • Optionele PII-redactie
  • Genormaliseerde veiligheidsfilters die niet afhangen van het beleid van één provider
  • Vision-guardrails voor afbeeldingsinvoer

Netwerk en identiteit

Controle over hoe verzoeken de host verlaten en hoe ze er op de lijn uitzien.

  • Proxy-scopes: globaal, per provider, per verbinding
  • SOCKS5- en HTTP(S)-proxy's
  • JA3/JA4-geschikt TLS-transport met providerspecifieke clientprofielen
  • IPv4- en IPv6-egresselectie
  • SSRF-bescherming die private adresbereiken blokkeert bij uitgaande fetches
  • IP-allowlists en -blocklists in het dashboard

Credentials en lokale data

Sleutels, geschiedenis en gebruik blijven op de host die jij draait, in een database die van jou is.

  • AES-256-GCM-versleutelde credentials in lokale SQLite
  • Scoped API-sleutels met model- en providerbeperkingen
  • USD-uitgavenlimieten en tokenbudgetten per sleutel
  • Maskering van OAuth-account-e-mail, standaard aan
  • Geen OmniRoute-account nodig om de gateway te draaien

Operaties en audit

Wat je achteraf kunt reconstrueren, en wie het mocht doen.

  • Administratief auditlog gefilterd op actie, actor en target
  • Verzoeklogs gefilterd op provider, model, account en sleutel
  • Optionele OIDC-loginpoort, met wachtwoordlogin altijd beschikbaar
  • Adaptieve toelating die zware verzoeken in de wachtrij zet in plaats van ze te laten falen
  • Database-export en -import voor back-up en migratie

Netwerkbereik

Netwerkroutering en lokale datacontroles.

Proxy-scopes sturen de netwerkroutering, terwijl local-first opslag operationele data op je eigen machine houdt.

Drie proxy-scopes

Routeer globaal, per provider of per afzonderlijke verbinding.

  • Globaal · per provider · per verbinding
  • SOCKS5- en HTTP(S)-proxy's
  • Integratie met proxy-marktplaats

TLS- en client-fingerprintcontroles

Kom overeen met ondersteunde providerclients tot op geselecteerde transportkenmerken.

  • JA3/JA4-geschikt transport via wreq-js
  • Providerspecifieke clientprofielen
  • IPv4- en IPv6-egresscontroles

Privé en local-first

Sleutels, gebruik en geschiedenis blijven op de host die jij beheert.

  • SQLite op schijf met AES-256-GCM-versleutelde credentials
  • Geen OmniRoute-account vereist
  • Zelf hosten op infrastructuur die jij kiest
RuslandChinaIranCubaTurkije

Storingsisolatie

Isoleer storingen van provider, verbinding en model.

Een slechte sleutel mag geen provider platleggen. Een gelimiteerd model mag geen verbinding platleggen.

model ⊂ verbinding ⊂ provider
Provider circuit breakerAls een provider ongezond is, slaat combo-routering hem over tot een half-open probe slaagt.
Connection cooldownLaat één sleutel of account afkoelen terwijl de andere verbindingen blijven bedienen.
Model-lockoutVergrendel één rate-limited of onbeschikbaar model terwijl andere modellen op de verbinding beschikbaar blijven.

OmniRoute by Cheaper Inference

Kies hoe je OmniRoute draait.

Host OmniRoute zelf, of gebruik Cheaper Inference voor een gehoste, op kosten gerangschikte gateway.