OmniRoute / Bezpieczeństwo i kontrola danych

Mechanizmy, których kod możesz przeczytać.

Guardrails na ścieżce żądania, kontrola sieci i tożsamości, szyfrowane lokalne poświadczenia i to, co potem pozostaje audytowalne.

Przejrzyj mechanizmy Wypróbuj Cheaper Inference Wróć do przeglądu

Mechanizmy

Co brama sprawdza i gdzie.

Każdy mechanizm poniżej działa w procesie, który hostujesz. Żaden nie zależy od konta Cheaper Inference.

Na ścieżce żądania

Kontrole uruchamiane, zanim prompt opuści maszynę i zanim odpowiedź dotrze do wywołującego.

Ochrona przed prompt injection dla każdego żądania
Opcjonalne maskowanie poświadczeń, które redaguje wyciekające klucze w obu kierunkach
Opcjonalna redakcja PII
Znormalizowane filtry bezpieczeństwa niezależne od polityki jednego dostawcy
Guardrails wizyjne dla obrazów wejściowych

Sieć i tożsamość

Kontrola nad tym, jak żądania opuszczają hosta i jak wyglądają w sieci.

Zakresy proxy: globalny, per dostawca, per połączenie
Proxy SOCKS5 i HTTP(S)
Transport TLS z obsługą JA3/JA4 i profilami klientów per dostawca
Wybór wyjścia IPv4 i IPv6
Ochrona SSRF blokująca prywatne zakresy adresów przy wychodzących pobraniach
Listy dozwolonych i blokowanych IP w panelu

Poświadczenia i dane lokalne

Klucze, historia i użycie zostają na hoście, który uruchamiasz, w bazie, którą posiadasz.

Poświadczenia szyfrowane AES-256-GCM w lokalnym SQLite
Klucze API z zakresem i ograniczeniami modeli i dostawców
Limity wydatków w USD i budżety tokenów per klucz
Maskowanie e-maila konta OAuth, domyślnie włączone
Konto OmniRoute nie jest wymagane do uruchomienia bramy

Operacje i audyt

Co możesz odtworzyć po fakcie i kto miał do tego uprawnienia.

Administracyjny log audytu filtrowany po akcji, aktorze i celu
Logi żądań filtrowane po dostawcy, modelu, koncie i kluczu
Opcjonalna bramka logowania OIDC, z zawsze dostępnym logowaniem hasłem
Adaptacyjne przyjmowanie, które kolejkuje ciężkie żądania zamiast je odrzucać
Eksport i import bazy danych do kopii zapasowych i migracji

Zasięg sieci

Routing sieciowy i kontrola lokalnych danych.

Zakresy proxy sterują routingiem sieciowym, a lokalne przechowywanie trzyma dane operacyjne na twojej maszynie.

Trzy zakresy proxy

Kieruj globalnie, per dostawca lub per pojedyncze połączenie.

Globalny · per dostawca · per połączenie
Proxy SOCKS5 i HTTP(S)
Integracja z marketplace proxy

Kontrola odcisku TLS i klienta

Dopasuj wspieranych klientów dostawców aż do wybranych cech transportu.

Transport z obsługą JA3/JA4 przez wreq-js
Profile klientów specyficzne dla dostawcy
Kontrola wyjścia IPv4 i IPv6

Prywatne i lokalne

Klucze, użycie i historia zostają na hoście, który kontrolujesz.

SQLite na dysku z poświadczeniami szyfrowanymi AES-256-GCM
Konto OmniRoute nie jest wymagane
Hostuj samodzielnie na wybranej infrastrukturze

RosjaChinyIranKubaTurcja

Izolacja awarii

Izoluj awarie dostawcy, połączenia i modelu.

Zły klucz nie powinien wyłączać dostawcy. Ograniczony model nie powinien wyłączać połączenia.

model ⊂ połączenie ⊂ dostawca

Bezpiecznik dostawcyGdy dostawca jest niesprawny, routing combo omija go, aż półotwarta sonda się powiedzie.

Cooldown połączeniaSchładzaj jeden klucz lub konto, podczas gdy sąsiednie połączenia dalej obsługują ruch.

Blokada modeluBlokuj jeden model z rate limitem lub niedostępny, podczas gdy inne modele na połączeniu pozostają dostępne.