AgentEvals

Ce qu'il fait

AgentEvals se connecte aux traces d'exécution des agents IA via OpenTelemetry (OTel) pour fournir une notation déterministe du comportement de l'agent. Il permet aux développeurs de benchmarker les agents avant la production en analysant les trajectoires d'outils et la qualité des réponses à partir des traces existantes, éliminant ainsi le besoin de ré-exécutions coûteuses et lentes.

Outils

• list_metrics: Affiche toutes les métriques d'évaluation intégrées et communautaires disponibles.
• evaluate_traces: Traite les fichiers de traces OTLP ou Jaeger locaux pour générer des scores.
• list_sessions: Liste les sessions de streaming actives pour une évaluation en temps réel.
• summarize_session: Fournit un résumé structuré des appels d'outils d'une session d'agent.
• evaluate_sessions: Note les sessions en direct par rapport à un ensemble de référence doré défini.

Installation

Ajoutez à votre claude_desktop_config.json :

{
  "mcpServers": {
    "agentevals": {
      "command": "agentevals",
      "args": ["mcp"]
    }
  }
}

Hôtes supportés

• Claude Desktop
• Claude Code