OmniRoute / Rychlý start a nasazení

Provozujte OmniRoute tam, kde to máte pod kontrolou.

Nainstalujte balíček, spusťte lokální API a vyberte podporovaný způsob nasazení.

Rychlý start

Nainstalovat, spustit a připojit.

Nainstalujte balíček, spusťte gateway a nasměrujte libovolného klienta kompatibilního s OpenAI na port 20128.

Step 1: Instalace

Nainstalujte npm balíček omniroute globálně.

omniroute: install
$ npm install -g omnirouteadded 1 package

Step 2: Spuštění

Spusťte API a dashboard společně na portu 20128.

omniroute: run
$ omniroute▸ dashboard ✓ http://localhost:20128/dashboard▸ api ...... ✓ serving on :20128

Step 3: Připojte svůj nástroj

Použijte http://localhost:20128/v1; bezklíčová trasa auto funguje hned po čisté instalaci.

omniroute: connect
$ curl localhost:20128/v1/models✓ models listed

OmniRoute od Cheaper Inference

Vyberte si, jak OmniRoute provozovat.

Provozujte OmniRoute u sebe, nebo použijte Cheaper Inference, hostovanou gateway řazenou podle ceny.