OmniRoute / Mula pantas dan penempatan

Jalankan OmniRoute di tempat yang anda kawal.

Pasang pakej, mulakan API lokal dan pilih kaedah penempatan yang disokong.

Mula pantas

Pasang, jalankan dan sambung.

Pasang pakej, lancarkan gateway, kemudian halakan mana-mana klien serasi OpenAI ke port 20128.

Step 1: Pasang

Pasang pakej npm omniroute secara global.

omniroute: install
$ npm install -g omnirouteadded 1 package

Step 2: Jalankan

Lancarkan API dan papan pemuka serentak pada port 20128.

omniroute: run
$ omniroute▸ dashboard ✓ http://localhost:20128/dashboard▸ api ...... ✓ serving on :20128

Step 3: Sambungkan alat anda

Gunakan http://localhost:20128/v1; laluan auto tanpa kunci berfungsi pada pemasangan baharu.

omniroute: connect
$ curl localhost:20128/v1/models✓ models listed

OmniRoute oleh Cheaper Inference

Pilih cara anda menjalankan OmniRoute.

Hos sendiri OmniRoute, atau gunakan Cheaper Inference untuk gateway terhos yang disusun mengikut kos.