OmniRoute / Bezpečnosť a kontrola dát

Ovládanie, ktorého zdrojový kód si môžete prečítať.

Guardraily na ceste požiadavky, kontrola siete a identity, šifrované lokálne prihlasovacie údaje a to, čo zostane následne auditovateľné.

Prezrieť ovládanie Vyskúšať Cheaper Inference Späť na prehľad

Ovládanie

Čo gateway kontroluje a kde.

Každé ovládanie nižšie beží v procese, ktorý hostujete. Nič z toho nezávisí od účtu Cheaper Inference.

Na ceste požiadavky

Kontroly, ktoré bežia skôr, než prompt opustí počítač, a skôr, než odpoveď dorazí k volajúcemu.

Ochrana pred prompt injection pri každej smerovanej požiadavke
Voliteľné maskovanie prihlasovacích údajov, ktoré odstraňuje uniknuté kľúče oboma smermi
Voliteľné odstraňovanie PII
Normalizované bezpečnostné filtre nezávislé od politiky jedného poskytovateľa
Vizuálne guardraily pre obrazové vstupy

Sieť a identita

Kontrola nad tým, ako požiadavky opúšťajú hostiteľa a ako vyzerajú na sieti.

Rozsahy proxy: globálne, per poskytovateľ, per pripojenie
SOCKS5 a HTTP(S) proxy
TLS transport s podporou JA3/JA4 a profilmi klientov špecifickými pre poskytovateľa
Výber odchádzajúcej prevádzky IPv4 a IPv6
Ochrana pred SSRF, ktorá blokuje privátne rozsahy adries pri odchádzajúcom fetchi
Allowlisty a blocklisty IP adries v dashboarde

Prihlasovacie údaje a lokálne dáta

Kľúče, história a využitie zostávajú na hostiteľovi, ktorý prevádzkujete, v databáze, ktorú vlastníte.

Prihlasovacie údaje šifrované AES-256-GCM v lokálnej SQLite
API kľúče s obmedzeným rozsahom na modely a poskytovateľov
Limity výdavkov v USD a rozpočty tokenov na kľúč
Maskovanie e-mailu OAuth účtu, predvolene zapnuté
Na spustenie gatewaya nie je potrebný účet OmniRoute

Prevádzka a audit

Čo dokážete spätne zrekonštruovať a kto to mal dovolené urobiť.

Administratívny audit log filtrovaný podľa akcie, aktéra a cieľa
Logy požiadaviek filtrované podľa poskytovateľa, modelu, účtu a kľúča
Voliteľné prihlásenie cez OIDC, prihlásenie heslom je vždy dostupné
Adaptívny vstup, ktorý ťažké požiadavky zaradí do fronty namiesto ich zlyhania
Export a import databázy na zálohovanie a migráciu

Sieťový dosah

Sieťové smerovanie a kontrola lokálnych dát.

Rozsahy proxy riadia sieťové smerovanie, zatiaľ čo local-first úložisko drží prevádzkové dáta na vašom počítači.

Tri rozsahy proxy

Smerujte globálne, per poskytovateľ alebo per jednotlivé pripojenie.

Globálne · per poskytovateľ · per pripojenie
SOCKS5 a HTTP(S) proxy
Integrácia s marketplace proxy

Ovládanie TLS a fingerprintu klienta

Napodobnite podporovaných klientov poskytovateľov až po vybrané vlastnosti transportu.

Transport s podporou JA3/JA4 cez wreq-js
Profily klientov špecifické pre poskytovateľa
Ovládanie odchádzajúcej prevádzky IPv4 a IPv6

Súkromné a local-first

Kľúče, využitie a história zostávajú na hostiteľovi, ktorý ovládate.

SQLite na disku s prihlasovacími údajmi šifrovanými AES-256-GCM
Nie je potrebný účet OmniRoute
Self-hosting na infraštruktúre podľa vášho výberu

RuskoČínaIránKubaTurecko

Izolácia zlyhaní

Izolujte zlyhania poskytovateľa, pripojenia a modelu.

Zlý kľúč by nemal vyradiť poskytovateľa. Obmedzený model by nemal vyradiť pripojenie.

model ⊂ pripojenie ⊂ poskytovateľ

Circuit breaker poskytovateľaKeď je poskytovateľ nezdravý, smerovanie combo ho preskakuje, kým neuspeje half-open sonda.

Cooldown pripojeniaNechajte jeden kľúč alebo účet vychladnúť, zatiaľ čo susedné pripojenia ďalej obsluhujú.

Lockout modeluZamknite jeden model s rate limitom alebo nedostupný model, zatiaľ čo ostatné modely na pripojení zostávajú dostupné.