OmniRoute / クイックスタートとデプロイ

自分が管理する場所で OmniRoute を動かす。

パッケージをインストールし、ローカル API を起動し、対応するデプロイ方法を選ぶ。

クイックスタート

インストール、起動、接続。

パッケージをインストールしてゲートウェイを起動し、OpenAI 互換クライアントをポート 20128 に向けるだけ。

Step 1: インストール

omniroute npm パッケージをグローバルにインストールします。

omniroute: install
$ npm install -g omnirouteadded 1 package

Step 2: 起動

API とダッシュボードをポート 20128 でまとめて起動します。

omniroute: run
$ omniroute▸ dashboard ✓ http://localhost:20128/dashboard▸ api ...... ✓ serving on :20128

Step 3: ツールを接続

http://localhost:20128/v1 を使用。キー不要の auto ルートは新規インストールでそのまま動作します。

omniroute: connect
$ curl localhost:20128/v1/models✓ models listed

OmniRoute by Cheaper Inference

OmniRoute の使い方を選ぶ。

OmniRoute をセルフホストするか、ホスト型のコスト順ゲートウェイとして Cheaper Inference を使う。