OmniRoute / Démarrage rapide et déploiement

Exécutez OmniRoute là où vous le contrôlez.

Installez le paquet, démarrez l'API locale et choisissez une méthode de déploiement prise en charge.

Démarrage rapide

Installer, lancer et connecter.

Installez le paquet, lancez la passerelle, puis pointez n'importe quel client compatible OpenAI vers le port 20128.

Step 1: Installer

Installez le paquet npm omniroute en global.

omniroute: install
$ npm install -g omnirouteadded 1 package

Step 2: Lancer

Lancez l'API et le tableau de bord ensemble sur le port 20128.

omniroute: run
$ omniroute▸ dashboard ✓ http://localhost:20128/dashboard▸ api ...... ✓ serving on :20128

Step 3: Connectez votre outil

Utilisez http://localhost:20128/v1 ; la route auto sans clé fonctionne dès l'installation.

omniroute: connect
$ curl localhost:20128/v1/models✓ models listed

OmniRoute par Cheaper Inference

Choisissez comment exécuter OmniRoute.

Auto-hébergez OmniRoute, ou utilisez Cheaper Inference pour une passerelle hébergée classée par coût.