vLLora

Ce qu'il fait

vLLora agit comme une passerelle de débogage légère pour les agents IA. Il intercepte les appels LLM pour fournir un traçage, une analyse et une optimisation en temps réel des flux de travail des agents, facilitant ainsi le diagnostic des échecs ou des hallucinations des agents.

Outils

• trace_interaction: Capture et analyse le flux d'une paire requête/réponse LLM spécifique.
• mcp_connect: Intègre et gère les connexions aux serveurs MCP externes via HTTP/SSE.
• analyze_workflow: Fournit une observabilité sur l'utilisation d'outils agentiques multi-étapes.

Installation

Installez via Homebrew:

brew tap vllora/vllora
brew install vllora

Ensuite, lancez la commande vllora pour démarrer le serveur sur le port 9090.

Hôtes supportés

Supporté via des points de terminaison d'API compatibles OpenAI, ce qui signifie qu'il fonctionne avec tout client capable de cibler une URL de base personnalisée, y compris divers frameworks d'agents IA et implémentations personnalisées.