Waza

Ce qu'il fait

Waza fournit une boîte à outils professionnelle pour les développeurs afin de construire et de benchmarker les compétences des agents IA. Il permet de créer des suites d'évaluation, d'exécuter des benchmarks rigoureux et de comparer l'efficacité de différents LLM par rapport à des exigences de compétences spécifiques.

Outils

• init : Initialise un espace de travail de projet avec des compétences et des évaluations.
• new skill : Génère une nouvelle compétence d'agent avec une structure standard.
• run : Exécute des benchmarks d'évaluation par rapport à un fichier de spécification.
• compare : Comparaison côte à côte des résultats de plusieurs exécutions d'évaluation.
• check : Rapport de préparation complet pour la soumission de compétences.
• quality : Évaluation via LLM-as-Judge du contenu des compétences sur la clarté, l'exhaustivité et la précision.

Installation

Ajoutez ce qui suit à votre fichier claude_desktop_config.json :

{
  "mcpServers": {
    "waza": {
      "command": "waza",
      "args": ["run", "eval.yaml"]
    }
  }
}

(Note : Nécessite le binaire waza installé via curl -fsSL https://raw.githubusercontent.com/microsoft/waza/main/install.sh | bash)

Hôtes supportés

• Claude Desktop
• GitHub Copilot