OmniRoute / Сигурност и контрол над данните

Контроли, чийто код можете да прочетете.

Guardrails по пътя на заявката, контрол над мрежата и идентичността, шифрирани локални креденшъли и какво остава одитируемо след това.

Прегледайте контролите Опитайте Cheaper Inference Назад към общия преглед

Контроли

Какво проверява gateway-ът и къде.

Всеки контрол по-долу работи в процеса, който хоствате. Нищо от него не зависи от Cheaper Inference акаунт.

По пътя на заявката

Проверки, които се изпълняват преди prompt-ът да напусне машината и преди отговорът да стигне до извикващия.

Защита от prompt injection при всяка маршрутизирана заявка
Маскиране на креденшъли по избор, което редактира изтекли ключове в двете посоки
Редакция на лични данни по избор
Нормализирани филтри за безопасност, независими от политиката на един доставчик
Vision guardrails за входни изображения

Мрежа и идентичност

Контрол над това как заявките напускат хоста и как изглеждат по мрежата.

Прокси обхвати: глобално, по доставчик, по връзка
SOCKS5 и HTTP(S) прокси
TLS транспорт с JA3/JA4 поддръжка и клиентски профили за всеки доставчик
Избор на изходящ IPv4 и IPv6 трафик
SSRF защита, блокираща частните адресни диапазони при изходящи заявки
IP allowlist и blocklist в таблото

Креденшъли и локални данни

Ключове, история и употреба остават на хоста, който управлявате, в база данни, която притежавате.

AES-256-GCM шифрирани креденшъли в локален SQLite
API ключове с ограничен обхват по модел и доставчик
Лимити на разходите в USD и бюджети от токени за всеки ключ
Маскиране на имейла на OAuth акаунта, включено по подразбиране
Не е нужен OmniRoute акаунт за работа на gateway-а

Операции и одит

Какво можете да възстановите след факта и кой е имал право да го направи.

Административен одитен лог, филтриран по действие, извършител и цел
Логове на заявките, филтрирани по доставчик, модел, акаунт и ключ
Опционален OIDC вход, като входът с парола е винаги наличен
Адаптивен прием, който поставя тежките заявки в опашка, вместо да ги отхвърля
Експорт и импорт на базата данни за резервни копия и миграция

Мрежов обхват

Мрежово маршрутизиране и контрол над локалните данни.

Прокси обхватите управляват мрежовото маршрутизиране, а local-first съхранението пази оперативните данни на вашата машина.

Три прокси обхвата

Маршрутизирайте глобално, по доставчик или по отделна връзка.

Глобално · по доставчик · по връзка
SOCKS5 и HTTP(S) прокси
Интеграция с прокси marketplace

Контрол на TLS и клиентския отпечатък

Съответствие с поддържаните клиенти на доставчиците до избрани транспортни характеристики.

Транспорт с JA3/JA4 поддръжка чрез wreq-js
Клиентски профили за всеки доставчик
Контрол на изходящия IPv4 и IPv6 трафик

Поверително и local-first

Ключове, употреба и история остават на хоста, който контролирате.

SQLite на диска с AES-256-GCM шифрирани креденшъли
Не е нужен OmniRoute акаунт
Self-hosting на инфраструктура по ваш избор

РусияКитайИранКубаТурция

Изолация на откази

Изолирайте откази на доставчик, връзка и модел.

Лош ключ не трябва да спира доставчик. Ограничен модел не трябва да спира връзка.

модел ⊂ връзка ⊂ доставчик

Circuit breaker на доставчикаКогато доставчик не е здрав, комбо маршрутизирането го пропуска, докато полуотворена проба не успее.

Cooldown на връзкатаОхладете един ключ или акаунт, докато съседните връзки продължават да обслужват.

Блокиране на моделБлокирайте един модел с rate limit или недостъпен, докато другите модели на връзката остават налични.