OmniRoute / 快速上手与部署

在你掌控的地方运行 OmniRoute。

安装软件包,启动本地 API,选择一种受支持的部署方式。

快速上手

安装、运行并连接。

安装软件包,启动网关,然后把任意 OpenAI 兼容客户端指向端口 20128。

Step 1: 安装

全局安装 omniroute npm 包。

omniroute: install
$ npm install -g omnirouteadded 1 package

Step 2: 运行

在端口 20128 同时启动 API 和控制台。

omniroute: run
$ omniroute▸ dashboard ✓ http://localhost:20128/dashboard▸ api ...... ✓ serving on :20128

Step 3: 连接你的工具

使用 http://localhost:20128/v1;全新安装即可使用免密钥的 auto 路由。

omniroute: connect
$ curl localhost:20128/v1/models✓ models listed

OmniRoute by Cheaper Inference

选择运行 OmniRoute 的方式。

自托管 OmniRoute,或使用 Cheaper Inference 按成本排序的托管网关。