OmniRoute / API సర్ఫేస్

ఒకే ఎండ్‌పాయింట్, చాట్ కంటే ఎక్కువ.

చాట్, ఎంబెడ్డింగ్‌లు, రీర్యాంకింగ్, ఇమేజ్‌లు, వీడియో, మ్యూజిక్, స్పీచ్, OCR, ఫైల్స్ మరియు బ్యాచ్‌లు, మీ క్లయింట్‌కు ఇప్పటికే తెలిసిన రిక్వెస్ట్ ఫార్మాట్‌లో.

వైర్ ఫార్మాట్లు

మీ క్లయింట్ ఇప్పటికే పంపే రిక్వెస్ట్ ఆకారాన్ని ఉంచుకోండి.

ఒకే ప్రాసెస్ అనేక ఫార్మాట్లను స్వీకరిస్తుంది, కాబట్టి ఒక వెండర్ SDK పై నిర్మించిన టూల్‌కు బేస్ URL మార్పు తప్ప మరేమీ అవసరం లేదు.

OpenAI

Chat Completions, ఎంబెడ్డింగ్‌లు, ఇమేజ్‌లు, ఆడియో మరియు ఫైల్స్, మార్పు లేకుండా.

/v1/chat/completions

Anthropic

Messages వైర్ ఫార్మాట్, టోకెన్ కౌంటింగ్‌తో సహా.

/v1/messages

OpenAI Responses

Responses API ఆకారం, టూల్-అవుట్‌పుట్ కాంపాక్షన్‌తో.

/v1/responses

Gemini

generateContent మరియు Gemini మోడల్ లిస్టింగ్.

/v1beta/models

Ollama

లోకల్ Ollama API మాట్లాడే టూల్స్‌కు డ్రాప్-ఇన్.

/v1/api/chat

Rerank and Jina

Cohere/Voyage రీర్యాంకింగ్, అలాగే Jina classify మరియు segment.

/v1/rerank

ఎండ్‌పాయింట్లు

చాట్ కంప్లీషన్స్ కంటే ఎక్కువ.

ఏ ప్రొవైడర్ సర్వ్ చేస్తుందో కాకుండా, మీరు ఏం చేయాలనుకుంటున్నారో దాని ప్రకారం గ్రూప్ చేసినవి.

చాట్ మరియు మెసేజెస్

మూడు రిక్వెస్ట్ ఆకారాలు ఒకే రూటర్‌కు చేరుతాయి, కాబట్టి క్లయింట్ తనకు తెలిసిన ఫార్మాట్‌నే ఉంచుకుంటుంది.

  • POST/v1/chat/completionsOpenAI Chat Completions, స్ట్రీమింగ్ లేదా బఫర్డ్
  • POST/v1/messagesAnthropic Messages
  • POST/v1/responsesOpenAI Responses
  • POST/v1/messages/count_tokensఖర్చు చేసే ముందు టోకెన్లను లెక్కించండి

ఎంబెడ్డింగ్‌లు, సెర్చ్ మరియు ర్యాంకింగ్

RAG స్టాక్‌లోని రిట్రీవల్ భాగం, అదే ఎండ్‌పాయింట్ మరియు అదే కీ వెనుక.

  • POST/v1/embeddingsటెక్స్ట్ మరియు మల్టీమోడల్ ఎంబెడ్డింగ్‌లు
  • POST/v1/rerankCohere మరియు Voyage అనుకూల రీర్యాంకింగ్
  • POST/v1/searchప్రొవైడర్ల మధ్య వెబ్ సెర్చ్ అబ్‌స్ట్రాక్షన్
  • POST/v1/classifyJina టెక్స్ట్ క్లాసిఫికేషన్
  • POST/v1/segmentJina కంటెంట్ సెగ్మెంటేషన్
  • POST/v1/web/fetchచదవగలిగే పేజీ ఎక్స్‌ట్రాక్షన్

ఇమేజ్, వీడియో మరియు మ్యూజిక్

జనరేషన్ టెక్స్ట్ లాగే అదే ఫాల్‌బ్యాక్ మరియు కాస్ట్ అకౌంటింగ్ ద్వారా రూట్ అవుతుంది.

  • POST/v1/images/generationsఇమేజ్ సింథసిస్
  • POST/v1/images/editsఎడిటింగ్ మరియు ఇన్‌పెయింటింగ్
  • POST/v1/videos/generationsవీడియో జనరేషన్
  • POST/v1/music/generationsమ్యూజిక్ సింథసిస్

ఆడియో మరియు డాక్యుమెంట్లు

రెండు దిశల్లో స్పీచ్, అలాగే స్కాన్ చేసిన సోర్స్ మెటీరియల్ కోసం OCR.

  • POST/v1/audio/transcriptionsస్పీచ్ టు టెక్స్ట్
  • POST/v1/audio/translationsఅనువదించే ట్రాన్స్‌క్రిప్షన్
  • POST/v1/audio/speechటెక్స్ట్ టు స్పీచ్
  • POST/v1/ocrడాక్యుమెంట్ OCR

ఫైల్స్ మరియు బ్యాచ్‌లు

ఒకసారి అప్‌లోడ్ చేసి, కనెక్షన్ తెరిచి ఉంచకుండా పనిని అసింక్రొనస్‌గా రన్ చేయండి.

  • POST/v1/filesఫైల్ అప్‌లోడ్ చేయండి
  • GET/v1/files/{id}/contentఫైల్ కంటెంట్‌ను తిరిగి స్ట్రీమ్ చేయండి
  • POST/v1/batchesబ్యాచ్ జాబ్ సృష్టించండి
  • GET/v1/batches/{id}బ్యాచ్ స్టేటస్ పోల్ చేయండి
  • POST/v1/batches/{id}/cancelరన్ అవుతున్న బ్యాచ్‌ను రద్దు చేయండి

డిస్కవరీ మరియు కంట్రోల్

మోడల్ ఎంచుకోడానికి, బడ్జెట్‌లో ఉండడానికి క్లయింట్‌కు కావాల్సినవన్నీ.

  • GET/v1/modelsప్రొవైడర్ వారీగా గ్రూప్ చేసిన మోడల్ కేటలాగ్
  • GET/v1/quotas/checkమిగిలిన కోటాను ముందే వాలిడేట్ చేయండి
  • POST/v1/moderationsకంటెంట్ మోడరేషన్
  • GET/v1/wsస్ట్రీమింగ్ క్లయింట్ల కోసం WebSocket అప్‌గ్రేడ్

ఏజెంట్ ప్రోటోకాల్స్

110 టూల్స్‌తో MCP సర్వర్ మరియు A2A ఏజెంట్ కార్డ్, అదే ప్రాసెస్ నుండి సర్వ్ అవుతాయి.

  • GET/api/mcp/streamHTTP పై MCP, 33 స్కోప్‌లు
  • GET/api/mcp/sseServer-Sent Events పై MCP
  • POST/a2aJSON-RPC 2.0, 6 ఏజెంట్ స్కిల్స్
  • GET/.well-known/agent.jsonపబ్లిక్ ఏజెంట్ కార్డ్

హెడర్లు

ప్రతి రెస్పాన్స్ అది ఎలా సర్వ్ అయిందో చెబుతుంది.

రూటింగ్ బ్లాక్ బాక్స్ కాదు: రెస్పాన్స్‌ను రూపొందించిన నిర్ణయం, ఖర్చు మరియు కంప్రెషన్ అన్నీ దానితో పాటు తిరిగి వస్తాయి.

రెస్పాన్స్ హెడర్లు

  • X-OmniRoute-Decisionరిక్వెస్ట్‌ను సర్వ్ చేసిన స్ట్రాటజీ, ప్రొవైడర్ ఏలియాస్ మరియు లేటెన్సీ
  • X-OmniRoute-Providerవాస్తవంగా రూట్ అయిన ప్రొవైడర్ ఏలియాస్
  • X-OmniRoute-Modelరిజాల్వ్ అయిన మోడల్ ఐడెంటిఫయర్
  • X-OmniRoute-Latency-Msఅప్‌స్ట్రీమ్ లేటెన్సీ మిల్లీసెకన్లలో
  • X-OmniRoute-Tokens-Inఇన్‌పుట్ టోకెన్ కౌంట్
  • X-OmniRoute-Tokens-Outఅవుట్‌పుట్ టోకెన్ కౌంట్
  • X-OmniRoute-Response-Costఈ రెస్పాన్స్ USD ఖర్చు
  • X-OmniRoute-Cost-Savedకాష్ హిట్‌పై ఆదా అయిన USD
  • X-OmniRoute-Cacheనాన్-స్ట్రీమింగ్ రిక్వెస్ట్‌లపై HIT లేదా MISS
  • X-OmniRoute-Compressionఅప్లై అయిన కంప్రెషన్ మోడ్ మరియు అది ఎక్కడి నుండి వచ్చింది
  • X-OmniRoute-Fallback-Attemptsతీసుకున్న ఫాల్‌బ్యాక్ హాప్‌లు, ఉంటే
  • X-OmniRoute-Request-Idరిక్వెస్ట్ లాగ్ కోసం కోరిలేషన్ id

రిక్వెస్ట్ హెడర్లు

  • x-omniroute-compressionఒక రిక్వెస్ట్ కోసం కంప్రెషన్ ప్రొఫైల్‌ను ఓవర్‌రైడ్ చేయండి
  • X-OmniRoute-No-Cacheసెమాంటిక్ కాష్‌ను బైపాస్ చేయండి
  • x-omniroute-no-memoryమెమరీ మరియు స్కిల్స్ ఇంజెక్షన్‌ను దాటవేయండి
  • X-Session-Idసెషన్ అఫినిటీ మరియు కాస్ట్ అట్రిబ్యూషన్ కీ
  • Idempotency-Keyరీట్రై చేసిన రిక్వెస్ట్‌ను డీడ్యూప్లికేట్ చేయండి
API రిఫరెన్స్ చదవండి (కొత్త ట్యాబ్‌లో తెరుచుకుంటుంది)

Cheaper Inference నుండి OmniRoute

OmniRoute ఎలా రన్ చేయాలో ఎంచుకోండి.

OmniRoute సెల్ఫ్-హోస్ట్ చేయండి, లేదా హోస్టెడ్ కాస్ట్-ర్యాంక్డ్ గేట్‌వే కోసం Cheaper Inference వాడండి.