MCPBench
par modelscope
Benchmark d'évaluation complet pour les serveurs MCP, axé sur la précision des tâches, la latence et l'utilisation des jetons.
Ce qu'il fait
MCPBench est un cadre d'évaluation conçu pour tester et comparer rigoureusement les performances des serveurs Model Context Protocol (MCP). Il fournit une méthode standardisée pour mesurer la manière dont différents serveurs gèrent des catégories de tâches spécifiques, permettant aux développeurs d'optimiser la précision et l'efficacité.
Outils
En tant que cadre de benchmarking, MCPBench évalue les capacités suivantes des serveurs cibles :
- Évaluation de la recherche web : Teste la précision et la latence pour les tâches de récupération basées sur le web.
- Évaluation des requêtes de base de données : Analyse la capacité à interagir avec des bases de données et à les interroger.
- Évaluation GAIA : Teste les capacités générales d'assistant IA dans des scénarios complexes du monde réel.
Installation
Pour lancer le benchmark, clonez le dépôt et configurez l'environnement :
conda create -n mcpbench python=3.11 -y
conda activate mcpbench
pip install -r requirements.txt
Configurez vos serveurs dans le dossier configs et lancez les scripts d'évaluation (ex: sh evaluation_websearch.sh your_config.json).
Hôtes supportés
- claude
Installation rapide
pip install -r requirements.txtInformations
- Tarification
- free
- Publié
- 4/15/2026
- étoiles
- 0
Catégories
Choisissez votre client IA et suivez les étapes ci-dessous.
Claude Desktop
Refer to MCPBench configs folder for server pool setup.Apps similaires
DiffSitter MCP
MCP ServerAI-powered structural code navigation using tree-sitter ASTs for semantic understanding across 14+ languages.
OpenAI Apps SDK Examples
MCP AppOfficial example gallery of interactive MCP widgets for ChatGPT — 3D viewers, maps, carousels, shopping carts, and more.
Human MCP
MCP ServerGive AI agents human-like senses: visual analysis, image/video generation, speech synthesis, browser automation, and advanced reasoning — 29 MCP tools in one se
Shopify MCP Server
MCP ServerDirect interaction with Shopify store data via GraphQL API for managing products, customers, and orders.
Git MCP Server
MCP ServerFull-featured Git MCP server exposing 28 tools for AI agents to clone, commit, branch, diff, merge, rebase, and more via STDIO or Streamable HTTP.
CodexPotter
MCP ServerAutonomous reconciliation loop that drives Codex to align your codebase with instructed states.
Smart Coding MCP
MCP ServerSemantic code search for AI assistants using local embeddings — find code by meaning, not just keywords.
Snowflake MCP Server
MCP ServerDirect Snowflake database interaction via MCP, enabling AI to run SQL queries, explore schemas, and manage data insights.