请求路径上
在提示离开机器之前、响应到达调用方之前运行的检查。
- 每个路由请求都有提示注入防护
- 可选的凭据遮蔽,双向脱敏泄露的密钥
- 可选的 PII 脱敏
- 不依赖单一提供商策略的标准化安全过滤
- 针对图像输入的视觉护栏
OmniRoute / 安全与数据控制
可以读到源码的控制。
请求路径上的护栏、网络与身份控制、加密的本地凭据,以及事后仍可审计的内容。
控制项
网关检查什么,在哪里检查。
下方每项控制都运行在你托管的进程里。没有一项依赖 Cheaper Inference 账户。
网络与身份
控制请求如何离开主机,以及在线路上的样子。
- 代理作用域:全局、按提供商、按连接
- SOCKS5 和 HTTP(S) 代理
- 支持 JA3/JA4 的 TLS 传输,附带针对提供商的客户端配置
- IPv4 和 IPv6 出口选择
- SSRF 防护,阻止出站请求访问私有地址段
- 控制台上的 IP 白名单和黑名单
凭据与本地数据
密钥、历史和用量留在你运行的主机上,存在你自己的数据库里。
- 本地 SQLite 中以 AES-256-GCM 加密的凭据
- 带模型和提供商限制的作用域 API 密钥
- 按密钥的美元支出上限和 token 预算
- OAuth 账户邮箱遮蔽,默认开启
- 运行网关无需 OmniRoute 账户
运维与审计
事后可以还原什么,以及谁被允许做这件事。
- 可按操作、执行者和目标筛选的管理审计日志
- 可按提供商、模型、账户和密钥筛选的请求日志
- 可选的 OIDC 登录门禁,密码登录始终可用
- 自适应准入,将重请求排队而非直接失败
- 数据库导出与导入,用于备份和迁移
网络覆盖
网络路由与本地数据控制。
代理作用域控制网络路由,本地优先存储把运行数据留在你的机器上。
三种代理作用域
全局、按提供商或按单个连接路由。
- 全局 · 按提供商 · 按连接
- SOCKS5 和 HTTP(S) 代理
- 代理市场集成
TLS 与客户端指纹控制
匹配受支持的提供商客户端,直至选定的传输层特征。
- 通过 wreq-js 实现支持 JA3/JA4 的传输
- 针对提供商的客户端配置
- IPv4 和 IPv6 出口控制
私密且本地优先
密钥、用量和历史留在你掌控的主机上。
- 磁盘上的 SQLite,凭据以 AES-256-GCM 加密
- 无需 OmniRoute 账户
- 在你选择的基础设施上自托管
俄罗斯中国伊朗古巴土耳其
故障隔离
隔离提供商、连接和模型故障。
一个坏密钥不该拖垮提供商。一个受限模型不该拖垮连接。
模型 ⊂ 连接 ⊂ 提供商
提供商熔断器提供商不健康时,组合路由会跳过它,直到半开探测成功。
连接冷却冷却某个密钥或账户,同级连接继续服务。
模型锁定锁定某个被限速或不可用的模型,同一连接上的其他模型保持可用。