OmniRoute / Quick start en deployment

Draai OmniRoute waar jij de controle hebt.

Installeer het package, start de lokale API en kies een ondersteunde deploymentmethode.

Quick start

Installeren, starten en verbinden.

Installeer het package, start de gateway en wijs elke OpenAI-compatibele client naar poort 20128.

Step 1: Installeren

Installeer het omniroute npm-package globaal.

omniroute: install
$ npm install -g omnirouteadded 1 package

Step 2: Starten

Start de API en het dashboard samen op poort 20128.

omniroute: run
$ omniroute▸ dashboard ✓ http://localhost:20128/dashboard▸ api ...... ✓ serving on :20128

Step 3: Verbind je tool

Gebruik http://localhost:20128/v1; de sleutelloze auto-route werkt op een verse installatie.

omniroute: connect
$ curl localhost:20128/v1/models✓ models listed

OmniRoute by Cheaper Inference

Kies hoe je OmniRoute draait.

Host OmniRoute zelf, of gebruik Cheaper Inference voor een gehoste, op kosten gerangschikte gateway.