OmniRoute / Sikkerhet og datakontroll

Kontroller du kan lese kildekoden til.

Guardrails på forespørselsstien, nettverks- og identitetskontroller, krypterte lokale påloggingsdetaljer, og hva som forblir reviderbart etterpå.

Gå gjennom kontrollene Prøv Cheaper Inference Tilbake til oversikten

Kontroller

Hva gatewayen sjekker, og hvor.

Hver kontroll nedenfor kjører i prosessen du hoster. Ingenting av det avhenger av en Cheaper Inference-konto.

På forespørselsstien

Sjekker som kjører før en prompt forlater maskinen og før et svar når kalleren.

Prompt-injection-vern på hver rutede forespørsel
Valgfri maskering som fjerner lekkede nøkler i begge retninger
Valgfri PII-maskering
Normaliserte sikkerhetsfiltre som ikke avhenger av én leverandørs policy
Vision-guardrails for bildeinput

Nettverk og identitet

Kontroll over hvordan forespørsler forlater verten og hvordan de ser ut på linja.

Proxy-omfang: globalt, per leverandør, per tilkobling
SOCKS5- og HTTP(S)-proxyer
JA3/JA4-kapabel TLS-transport med leverandørspesifikke klientprofiler
Valg av IPv4- og IPv6-utgang
SSRF-vern som blokkerer private adresseområder ved utgående henting
IP-tillatelseslister og blokkeringslister i dashbordet

Påloggingsdetaljer og lokale data

Nøkler, historikk og bruk blir på verten du kjører, i en database du eier.

AES-256-GCM-krypterte påloggingsdetaljer i lokal SQLite
Avgrensede API-nøkler med modell- og leverandørbegrensninger
Forbruksgrenser i USD og tokenbudsjetter per nøkkel
Maskering av e-post for OAuth-kontoer, på som standard
Ingen OmniRoute-konto nødvendig for å kjøre gatewayen

Drift og revisjon

Hva du kan rekonstruere i etterkant, og hvem som hadde lov til å gjøre det.

Administrativ revisjonslogg filtrert på handling, aktør og mål
Forespørselslogger filtrert på leverandør, modell, konto og nøkkel
Valgfri OIDC-innloggingsport, med passordinnlogging alltid tilgjengelig
Adaptiv adgangskontroll som setter tunge forespørsler i kø i stedet for å feile
Eksport og import av database for backup og migrering

Nettverksrekkevidde

Nettverksruting og kontroll over lokale data.

Proxy-omfang styrer nettverksrutingen, mens lokal lagring først holder driftsdata på din maskin.

Tre proxy-omfang

Rut globalt, per leverandør eller per enkelt tilkobling.

Globalt · per leverandør · per tilkobling
SOCKS5- og HTTP(S)-proxyer
Integrasjon med proxy-markedsplass

Kontroll over TLS- og klientfingeravtrykk

Match støttede leverandørklienter ned til utvalgte transportegenskaper.

JA3/JA4-kapabel transport via wreq-js
Leverandørspesifikke klientprofiler
Kontroll over IPv4- og IPv6-utgang

Privat og lokalt først

Nøkler, bruk og historikk blir på verten du kontrollerer.

SQLite på disk med AES-256-GCM-krypterte påloggingsdetaljer
Ingen OmniRoute-konto nødvendig
Selvhost på infrastruktur du velger

RusslandKinaIranCubaTyrkia

Feilisolering

Isoler feil i leverandør, tilkobling og modell.

En dårlig nøkkel skal ikke ta ned en leverandør. En begrenset modell skal ikke ta ned en tilkobling.

modell ⊂ tilkobling ⊂ leverandør

Kretsbryter for leverandørNår en leverandør er usunn, hopper komborutingen over den til en halvåpen probe lykkes.

Nedkjøling av tilkoblingKjøl ned én nøkkel eller konto mens søskentilkoblinger fortsetter å levere.

ModellsperreSperr én ratebegrenset eller utilgjengelig modell mens andre modeller på tilkoblingen forblir tilgjengelige.