OmniRoute / Arranque rápido e implementação

Execute o OmniRoute onde tem o controlo.

Instale o pacote, arranque a API local e escolha um método de implementação suportado.

Arranque rápido

Instale, execute e ligue.

Instale o pacote, arranque o gateway e depois aponte qualquer cliente compatível com OpenAI para a porta 20128.

Step 1: Instalar

Instale globalmente o pacote npm omniroute.

omniroute: install
$ npm install -g omnirouteadded 1 package

Step 2: Executar

Arranque a API e o painel em conjunto na porta 20128.

omniroute: run
$ omniroute▸ dashboard ✓ http://localhost:20128/dashboard▸ api ...... ✓ serving on :20128

Step 3: Ligue a sua ferramenta

Use http://localhost:20128/v1; a rota automática sem chave funciona numa instalação nova.

omniroute: connect
$ curl localhost:20128/v1/models✓ models listed

OmniRoute da Cheaper Inference

Escolha como executa o OmniRoute.

Aloje o OmniRoute, ou use a Cheaper Inference para um gateway alojado ordenado por custo.