MCP App StoreMCP App Store
de ai-rig9
Exécute des benchmarks synthétiques et des tests de calibration pour les agents et les skills : mesure le rappel, la précision, la calibration de la confiance et les comparaisons A/B pour quantifier les performances.
Calibrate est un skill de benchmarking et de calibration qui génère des problèmes synthétiques avec une quasi-vérité terrain, exécute des agents/skills cibles contre ceux-ci et mesure des signaux clés : le rappel, la précision de la sévérité, le formatage/l'actionnabilité et la calibration de la confiance. Il permet des comparaisons A/B par rapport à une ligne de base polyvalente et produit des résumés JSON compacts ainsi que des propositions lisibles par l'humain pour l'amélioration des instructions. Le flux de travail privilégie des pipelines séquentiels et groupés pour éviter les pics de ressources et retourne des fichiers de résultats concis et faciles à auditer.
Utilisez Calibrate avant et après des modifications majeures d'instructions ou de prompts système, lors de l'ajout de nouveaux agents spécialistes, ou pour valider si la confiance auto-déclarée d'un agent correspond à ses performances réelles. Il est utile pour les auteurs de plugins et les équipes d'exploitation qui ont besoin de benchmarks reproductibles et d'une boucle d'amélioration actionnable (propositions, application, réexécution).
.claude/logs/calibrations.jsonl.Conçu pour les environnements capables de créer des sous-agents et d'exécuter des pipelines basés sur des fichiers (agents de fonderie basés sur Claude, exécuteurs Codex). Fonctionne avec des scoreurs polyvalents et des scoreurs Codex dans des configurations de double évaluation. Idéal pour les environnements de type Claude Code / foundry où existent des primitives d'Agent/Tâche.
Compétence étendue de calibration/benchmarking d'agents pour l'écosystème ai-rig. SKILL.md très détaillé avec un flux de travail approfondi, des constantes, des cas limites et un support multi-mode. Aucun script intégré — repose entièrement sur l'orchestration d'agents Claude Code. Utilité de niche en dehors de son écosystème de plugins spécifique.
Sécurité : pas de curl-pipe-bash, pas d'identifiants codés en dur, pas de commandes destructives. Légère déduction pour l'interpolation de variables shell dans les blocs bash (théoriquement injectable si ARGUMENTS contient du contenu malveillant, mais le risque est faible car il s'agit d'une invocation d'agent). Qualité du code : très bien documenté et structuré, mais la longueur extrême rend la lecture difficile ; certaines redondances entre les étapes du flux et les notes. Architecture : bon frontmatter, séparation claire des préoccupations via les fichiers de mode, mais SKILL.md monolithique (~3000+ mots pour le seul flux de travail). Utilité : niche — valuable uniquement pour les équipes utilisant l'écosystème de plugins ai-rig foundry pour le benchmarking d'agents.
Development Worktree
Create an isolated git worktree for feature work, auto-run project setup, and verify a clean test baseline before development.
Readwise Reader Document Management
Manage Readwise Reader documents: list, save, search, move, tag, highlight, export and bulk-edit via official and custom CLIs.
Bounty Hunter — Atlas
Persona skill: 'Atlas' — a profit-focused developer persona for discovering, evaluating and executing paid bounties or freelance tasks with ROI-aware workflows.
Junshi — Research Advisor
Daily strategic research advisor that scans arXiv/venues, digests papers, and proposes bold, ranked research ideas tailored to the user's profile.
Scikit-learn (Classical ML reference)
Comprehensive scikit-learn guidance for classification, regression, clustering, preprocessing, model evaluation, and production-ready ML pipelines.
Full Stack Builder
End-to-end builder that scaffolds, implements, tests, and optionally deploys web and API applications from a natural-language specification.
SHIP Score Interview
Run a structured SHIP interview to score and prioritise product features or bugs (Income + Strategy - Perspiration). Guides the agent to reach 90-95% confidence
ezBookkeeping API Tools
Command-line API tools for ezBookkeeping: record and query transactions, retrieve accounts/categories/tags, and fetch exchange rates for self-hosted personal fi