OmniRoute / Usalama na udhibiti wa data

Vidhibiti ambavyo unaweza kusoma chanzo chake.

Guardrails kwenye njia ya ombi, vidhibiti vya mtandao na utambulisho, vitambulisho vya ndani vilivyosimbwa, na kinachobaki kukaguliwa baadaye.

Kagua vidhibiti Jaribu Cheaper Inference Rudi kwenye muhtasari

Vidhibiti

Gateway hukagua nini, na wapi.

Kila kidhibiti hapa chini huendeshwa katika mchakato unaohudumia. Hakuna kinachotegemea akaunti ya Cheaper Inference.

Kwenye njia ya ombi

Ukaguzi unaoendeshwa kabla prompt kuondoka kwenye mashine na kabla jibu kufika kwa mwitaji.

Ulinzi wa prompt-injection kwenye kila ombi lililoelekezwa
Ufichaji wa hiari wa vitambulisho unaoondoa keys zilizovuja kwa pande zote mbili
Uondoaji wa PII wa hiari
Vichujio vya usalama vilivyosawazishwa visivyotegemea sera ya mtoa huduma mmoja
Guardrails za maono kwa ingizo la picha

Mtandao na utambulisho

Vidhibiti vya jinsi maombi yanavyoondoka kwenye host na yanavyoonekana kwenye mtandao.

Upeo wa proxy: kwa ujumla, kwa mtoa huduma, kwa muunganisho
Proxy za SOCKS5 na HTTP(S)
Usafirishaji wa TLS unaowezesha JA3/JA4 na profaili za mteja mahususi kwa mtoa huduma
Uteuzi wa utokaji wa IPv4 na IPv6
Ulinzi wa SSRF unaozuia anwani za kibinafsi kwenye fetch ya kutoka
Orodha za IP zinazoruhusiwa na zinazozuiwa kwenye dashibodi

Vitambulisho na data ya ndani

Keys, historia na matumizi hubaki kwenye host unayoendesha, katika database unayomiliki.

Vitambulisho vilivyosimbwa kwa AES-256-GCM katika SQLite ya ndani
API keys zenye upeo na vizuizi vya modeli na mtoa huduma
Vikomo vya matumizi ya USD na bajeti za tokeni kwa kila key
Ufichaji wa barua pepe ya akaunti ya OAuth, umewashwa kwa chaguo-msingi
Hakuna akaunti ya OmniRoute inayohitajika kuendesha gateway

Uendeshaji na ukaguzi

Unachoweza kuunda upya baadaye, na aliyeruhusiwa kukifanya.

Logi ya ukaguzi ya usimamizi inayochujwa kwa kitendo, mtendaji na lengo
Logi za maombi zinazochujwa kwa mtoa huduma, modeli, akaunti na key
Lango la hiari la kuingia kwa OIDC, na kuingia kwa nenosiri kunapatikana daima
Udhibiti unaobadilika unaopanga maombi mazito badala ya kuyakataa
Uhamishaji na uingizaji wa database kwa nakala rudufu na uhamiaji

Ufikiaji wa mtandao

Routing ya mtandao na vidhibiti vya data ya ndani.

Upeo wa proxy hudhibiti routing ya mtandao huku hifadhi ya ndani kwanza ikiweka data ya uendeshaji kwenye mashine yako.

Upeo tatu wa proxy

Elekeza kwa ujumla, kwa kila mtoa huduma au kwa kila muunganisho mmoja mmoja.

Kwa ujumla · kwa mtoa huduma · kwa muunganisho
Proxy za SOCKS5 na HTTP(S)
Muunganisho wa soko la proxy

Vidhibiti vya alama za TLS na mteja

Linganisha wateja wa watoa huduma wanaotumika hadi sifa teule za usafirishaji.

Usafirishaji unaowezesha JA3/JA4 kupitia wreq-js
Profaili za mteja mahususi kwa mtoa huduma
Vidhibiti vya utokaji vya IPv4 na IPv6

Faragha na ndani kwanza

Keys, matumizi na historia hubaki kwenye host unayodhibiti.

SQLite kwenye diski na vitambulisho vilivyosimbwa kwa AES-256-GCM
Hakuna akaunti ya OmniRoute inayohitajika
Jihudumie kwenye miundombinu unayochagua

UrusiUchinaIranKubaUturuki

Kutenga hitilafu

Tenga hitilafu za mtoa huduma, muunganisho na modeli.

Key mbaya haipaswi kuua mtoa huduma. Modeli iliyowekewa kikomo haipaswi kuua muunganisho.

modeli ⊂ muunganisho ⊂ mtoa huduma

Circuit breaker ya mtoa hudumaMtoa huduma anapokuwa hana afya, routing ya combo humruka hadi jaribio la half-open lifanikiwe.

Cooldown ya muunganishoPumzisha key au akaunti moja huku miunganisho mingine ikiendelea kuhudumia.

Lockout ya modeliFunga modeli moja iliyowekewa rate-limit au isiyopatikana huku modeli nyingine kwenye muunganisho zikibaki zinapatikana.