요청 경로에서
프롬프트가 머신을 떠나기 전과 응답이 호출자에 도달하기 전에 실행되는 검사.
- 모든 라우팅 요청에 프롬프트 인젝션 가드
- 유출된 키를 양방향으로 마스킹하는 선택형 자격 증명 마스킹
- 선택형 PII 마스킹
- 특정 제공자 정책에 의존하지 않는 정규화된 안전 필터
- 이미지 입력용 비전 가드레일
OmniRoute / 보안 및 데이터 제어
소스를 직접 읽을 수 있는 제어.
요청 경로의 가드레일, 네트워크 및 신원 제어, 암호화된 로컬 자격 증명, 그리고 사후에 감사 가능한 항목.
제어
게이트웨이가 무엇을, 어디서 검사하는지.
아래 모든 제어는 내가 호스팅하는 프로세스에서 실행됩니다. Cheaper Inference 계정에 의존하지 않습니다.
네트워크와 신원
요청이 호스트를 떠나는 방식과 와이어 상의 형태에 대한 제어.
- 프록시 스코프: 전역, 제공자별, 연결별
- SOCKS5 및 HTTP(S) 프록시
- 제공자별 클라이언트 프로필을 갖춘 JA3/JA4 지원 TLS 전송
- IPv4 및 IPv6 이그레스 선택
- 아웃바운드 페치에서 사설 주소 범위를 차단하는 SSRF 가드
- 대시보드의 IP 허용 목록과 차단 목록
자격 증명과 로컬 데이터
키, 기록, 사용량이 내가 운영하는 호스트의 내 데이터베이스에 남습니다.
- 로컬 SQLite에 AES-256-GCM으로 암호화된 자격 증명
- 모델 및 제공자 제한이 있는 범위 지정 API 키
- 키별 USD 지출 한도와 토큰 예산
- OAuth 계정 이메일 마스킹, 기본 활성화
- 게이트웨이 실행에 OmniRoute 계정 불필요
운영과 감사
사후에 무엇을 재구성할 수 있고, 누가 그 작업을 허용받았는지.
- 작업, 행위자, 대상으로 필터링되는 관리 감사 로그
- 제공자, 모델, 계정, 키로 필터링되는 요청 로그
- 선택형 OIDC 로그인 게이트, 비밀번호 로그인은 항상 가능
- 무거운 요청을 실패시키지 않고 대기열에 넣는 적응형 승인
- 백업과 마이그레이션을 위한 데이터베이스 내보내기 및 가져오기
네트워크 도달 범위
네트워크 라우팅과 로컬 데이터 제어.
프록시 스코프가 네트워크 라우팅을 제어하고, 로컬 우선 저장이 운영 데이터를 내 컴퓨터에 유지합니다.
세 가지 프록시 스코프
전역, 제공자별 또는 개별 연결별로 라우팅합니다.
- 전역 · 제공자별 · 연결별
- SOCKS5 및 HTTP(S) 프록시
- 프록시 마켓플레이스 통합
TLS 및 클라이언트 핑거프린트 제어
선택한 전송 특성까지 지원 제공자 클라이언트와 일치시킵니다.
- wreq-js 기반 JA3/JA4 지원 전송
- 제공자별 클라이언트 프로필
- IPv4 및 IPv6 이그레스 제어
프라이빗하고 로컬 우선
키, 사용량, 기록이 내가 제어하는 호스트에 남습니다.
- AES-256-GCM 암호화 자격 증명을 담은 디스크 상의 SQLite
- OmniRoute 계정 불필요
- 원하는 인프라에 셀프 호스팅
러시아중국이란쿠바튀르키예
장애 격리
제공자, 연결, 모델 장애를 격리합니다.
잘못된 키 하나가 제공자를 죽여선 안 됩니다. 제한된 모델 하나가 연결을 죽여선 안 됩니다.
모델 ⊂ 연결 ⊂ 제공자
제공자 서킷 브레이커제공자가 비정상이면 하프오픈 프로브가 성공할 때까지 콤보 라우팅이 해당 제공자를 건너뜁니다.
연결 쿨다운키나 계정 하나만 쿨다운하고 나머지 연결은 계속 서비스합니다.
모델 잠금속도 제한이나 사용 불가 상태인 모델 하나만 잠그고, 같은 연결의 다른 모델은 계속 사용할 수 있습니다.