OmniRoute / Безопасность и контроль данных

Механизмы, исходный код которых можно прочитать.

Guardrails на пути запроса, контроль сети и идентификации, шифрование локальных учётных данных и то, что остаётся доступным для аудита.

Смотреть механизмы Попробовать Cheaper Inference Назад к обзору

Механизмы

Что и где проверяет шлюз.

Каждый механизм ниже работает в процессе, который вы хостите. Ничто из этого не зависит от аккаунта Cheaper Inference.

На пути запроса

Проверки, которые выполняются до отправки промпта с машины и до передачи ответа вызывающей стороне.

Защита от prompt injection на каждом маршрутизируемом запросе
Опциональное маскирование учётных данных, скрывающее утёкшие ключи в обе стороны
Опциональное скрытие PII
Унифицированные фильтры безопасности, не зависящие от политики одного провайдера
Guardrails для изображений на входе

Сеть и идентификация

Контроль того, как запросы покидают хост и как они выглядят на проводе.

Области прокси: глобально, по провайдеру, по подключению
Прокси SOCKS5 и HTTP(S)
TLS-транспорт с поддержкой JA3/JA4 и профилями клиентов провайдеров
Выбор исходящего адреса IPv4 и IPv6
Защита от SSRF, блокирующая частные диапазоны адресов на исходящих запросах
Белые и чёрные списки IP в панели управления

Учётные данные и локальные данные

Ключи, история и статистика остаются на вашем хосте, в вашей базе данных.

Учётные данные с шифрованием AES-256-GCM в локальной SQLite
API-ключи с ограничением по моделям и провайдерам
Лимиты расходов в USD и бюджеты токенов на ключ
Маскирование email OAuth-аккаунта, включено по умолчанию
Для запуска шлюза аккаунт OmniRoute не требуется

Эксплуатация и аудит

Что можно восстановить постфактум и кому это было разрешено.

Журнал административных действий с фильтром по действию, актору и цели
Журнал запросов с фильтром по провайдеру, модели, аккаунту и ключу
Опциональный вход через OIDC, вход по паролю доступен всегда
Адаптивный допуск: тяжёлые запросы ставятся в очередь вместо отказа
Экспорт и импорт базы данных для резервного копирования и миграции

Сетевой доступ

Сетевая маршрутизация и контроль локальных данных.

Области прокси управляют сетевой маршрутизацией, а локальное хранение держит операционные данные на вашей машине.

Три области прокси

Маршрутизация глобально, по провайдеру или по отдельному подключению.

Глобально · по провайдеру · по подключению
Прокси SOCKS5 и HTTP(S)
Интеграция с маркетплейсом прокси

Управление TLS и отпечатком клиента

Имитация поддерживаемых клиентов провайдеров вплоть до выбранных характеристик транспорта.

Транспорт с поддержкой JA3/JA4 через wreq-js
Профили клиентов для конкретных провайдеров
Управление исходящим трафиком IPv4 и IPv6

Приватно и локально

Ключи, статистика и история остаются на хосте под вашим контролем.

SQLite на диске с шифрованием учётных данных AES-256-GCM
Аккаунт OmniRoute не требуется
Self-hosting на инфраструктуре по вашему выбору

РоссияКитайИранКубаТурция

Изоляция сбоев

Изоляция сбоев провайдера, подключения и модели.

Плохой ключ не должен убивать провайдера. Ограниченная модель не должна убивать подключение.

модель ⊂ подключение ⊂ провайдер

Circuit breaker провайдераПока провайдер нездоров, комбо-маршрутизация пропускает его, пока полуоткрытая проверка не пройдёт успешно.

Cooldown подключенияОдин ключ или аккаунт уходит в cooldown, а соседние подключения продолжают работать.

Блокировка моделиБлокирует одну модель с rate limit или недоступную, пока остальные модели на подключении остаются доступны.