OmniRoute / Hızlı başlangıç ve dağıtım

OmniRoute'u kontrolün sizde olduğu yerde çalıştırın.

Paketi kurun, yerel API'yi başlatın ve desteklenen bir dağıtım yöntemi seçin.

Hızlı başlangıç

Kur, çalıştır ve bağlan.

Paketi kurun, ağ geçidini başlatın, ardından OpenAI uyumlu herhangi bir istemciyi 20128 portuna yöneltin.

Step 1: Kur

omniroute npm paketini global olarak kurun.

omniroute: install
$ npm install -g omnirouteadded 1 package

Step 2: Çalıştır

API'yi ve paneli 20128 portunda birlikte başlatın.

omniroute: run
$ omniroute▸ dashboard ✓ http://localhost:20128/dashboard▸ api ...... ✓ serving on :20128

Step 3: Aracını bağla

http://localhost:20128/v1 adresini kullanın; anahtarsız otomatik rota yeni kurulumda çalışır.

omniroute: connect
$ curl localhost:20128/v1/models✓ models listed

Cheaper Inference'tan OmniRoute

OmniRoute'u nasıl çalıştıracağınızı seçin.

OmniRoute'u kendiniz barındırın veya barındırılan, maliyete göre sıralanmış bir ağ geçidi için Cheaper Inference'ı kullanın.