VAKRA
par ibm
Benchmark de qualité entreprise pour l'évaluation du tool-calling multi-étapes et multi-sources pour les agents IA.
Ce qu'il fait
VAKRA (eValuating API and Knowledge Retrieval Agents) est un benchmark exécutable basé sur des outils, conçu pour évaluer le raisonnement compositionnel des agents IA dans des environnements d'entreprise complexes. Il mesure la capacité des agents à enchaîner des décisions à travers plusieurs API et documents, en conciliant des schémas disparates et en respectant des contraintes d'utilisation d'outils en langage naturel.
Outils
VAKRA fournit un environnement exécutable avec plus de 8 000 API hébergées localement à travers 62 domaines. Celles-ci sont classées par capacités :
- Enchaînement d'API : Appels d'API imbriqués et compositionnels.
- Sélection d'outils : Sélection à grande échelle parmi des points de terminaison alignés sur la requête.
- Raisonnement multi-étapes : Chaînes de raisonnement dépendantes où les sorties précédentes paramètrent les appels suivants.
- Raisonnement multi-tours : Dialogues complexes combinant API et récupération de documents avec respect des politiques.
Installation
Nécessite Docker et Python 3.11+. Exécutez les commandes suivantes :
make download
make build
docker compose up -d
Hôtes supportés
- claude
Installation rapide
make download && make build && docker compose up -dInformations
- Tarification
- free
- Publié
- 8/4/2026
- étoiles
- 0
Catégories
Choisissez votre client IA et suivez les étapes ci-dessous.
Claude Desktop
Follow the repository guide: make download, make build, and docker compose up -d to start the benchmark environment.Apps similaires
FinanceToolkit
MCP ServerProfessional-grade financial analysis toolkit for equities, options, and risk management.
DiffSitter MCP
MCP ServerAI-powered structural code navigation using tree-sitter ASTs for semantic understanding across 14+ languages.
OpenAI Apps SDK Examples
MCP AppOfficial example gallery of interactive MCP widgets for ChatGPT — 3D viewers, maps, carousels, shopping carts, and more.
Human MCP
MCP ServerGive AI agents human-like senses: visual analysis, image/video generation, speech synthesis, browser automation, and advanced reasoning — 29 MCP tools in one se
Containarium
MCP ServerSelf-hostable agent runtime with SSH-native isolation, eBPF egress policy, and MCP-native CLI.
Shopify MCP Server
MCP ServerDirect interaction with Shopify store data via GraphQL API for managing products, customers, and orders.
Git MCP Server
MCP ServerFull-featured Git MCP server exposing 28 tools for AI agents to clone, commit, branch, diff, merge, rebase, and more via STDIO or Streamable HTTP.
CodexPotter
MCP ServerAutonomous reconciliation loop that drives Codex to align your codebase with instructed states.