OmniRoute / Rýchly štart a nasadenie

Spúšťajte OmniRoute tam, kde to máte pod kontrolou.

Nainštalujte balík, spustite lokálne API a vyberte si podporovaný spôsob nasadenia.

Rýchly štart

Nainštalujte, spustite a pripojte.

Nainštalujte balík, spustite gateway a nasmerujte ľubovoľného klienta kompatibilného s OpenAI na port 20128.

Step 1: Inštalácia

Nainštalujte npm balík omniroute globálne.

omniroute: install
$ npm install -g omnirouteadded 1 package

Step 2: Spustenie

Spustite API a dashboard spolu na porte 20128.

omniroute: run
$ omniroute▸ dashboard ✓ http://localhost:20128/dashboard▸ api ...... ✓ serving on :20128

Step 3: Pripojte svoj nástroj

Použite http://localhost:20128/v1; bezkľúčová trasa auto funguje hneď po čistej inštalácii.

omniroute: connect
$ curl localhost:20128/v1/models✓ models listed

OmniRoute od Cheaper Inference

Vyberte si, ako budete OmniRoute prevádzkovať.

Self-hostujte OmniRoute alebo použite Cheaper Inference, hostovaný gateway zoradený podľa ceny.