Couche d'Évaluation d'Agent

Ajoutez une couche d'évaluation basée sur une rubrique aux projets d'agents pour mesurer la qualité via un scoring LLM-as-a-judge et des métriques pondérées.

déclencheurs:add evalsevaluate agentmeasure agent qualityllm-as-a-judgebenchmark agent

GitHub SKILL.md

Ce qu'il fait

Cette compétence permet à un agent d'implémenter un système d'évaluation rigoureux et basé sur une rubrique pour tout projet d'agent IA. Elle transforme les « impressions » qualitatives en métriques quantitatives en établissant un cadre de notation et un harnais programmatique pour l'exécuter.

Quand l'utiliser

Utilisez cette compétence lorsque vous avez besoin de :

Mesurer la précision ou la qualité des sorties d'un agent par rapport à une rubrique spécifique.
Mettre en place un pipeline « LLM-as-a-judge » pour automatiser la notation.
Comparer plusieurs modèles, frameworks ou versions de prompts (tests A/B) en utilisant un benchmark cohérent.
Suivre la clémence et le biais du juge via des cas de référence notés par des humains.

Ce qui est inclus

Instructions : Flux de travail détaillé pour concevoir des rubriques, générer des cas de test, créer des prompts de juge et construire un harnais d'évaluation Python.
Artéfacts d'Évaluation : Conseils sur la création de rubriques main.yaml et de cas de test seed.yaml.
Contrat de Métadonnées : Un format de sortie standardisé à 7 champs (latence, tokens, appels d'outils, etc.) pour assurer la compatibilité entre les projets.
Reporting : Instructions pour générer des rapports Markdown par sujet ainsi que des tableaux de bord HTML complets avec classements et graphiques radar.

Agents compatibles

Conçu principalement pour Claude Code, mais agnostique au framework et compatible avec tout agent capable d'écrire du Python et de gérer un espace de travail local (ex: Cursor, Codex).

Étiquettes

#evaluations #llm-as-a-judge #benchmarking #agent-quality #rubrics #metrics #testing

Pas encore audité

Cette compétence n'a pas encore été examinée par notre pipeline d'audit automatisé.

Informations

Dépôt: eval-layer
Étoiles: 12

Compétences similaires

Starlark Dev

Create, debug, and test Kurtosis Starlark packages — write package structure, run dry-runs, and inspect plan execution for reliable orchestration.

Run Execute

Orchestrates execution of work items across modes (autopilot, confirm, validate) with scripted init/complete tooling, plan/test/report artifacts and strict gati

Alpha Forge Pre-Ship Quality Gates

Pre-merge quality gates for PRs that validate RNG determinism, forked URLs, runtime parameter ranges, and manifest synchronization to reduce review cycles.

OpenTestAI

Automated, high-confidence AI testing: bug detection, persona feedback, and prioritized test-case generation using many specialized tester profiles.

Blender Build-Go (bgo)

Automate build → remove → install → enable → launch cycle for Blender extensions or add-ons to speed up iteration and CI workflows.

Overnight — Autonomous Long-Running Coding

Orchestrates long-running coding goals: decomposes objectives into atomic tasks, dispatches isolated worktree workers, verifies acceptance criteria, and merges

EventKit Integration (iOS/macOS)

Expert EventKit patterns for iOS/macOS: permissions, bidirectional sync, zero-width identity signatures, batch operations, and zombie-task handling.

Evolve — Goal-Driven Improvement Loop

Autonomous improvement loop that selects high-value work, runs a full research-plan-implement (/rpi) cycle, validates changes, and repeats to compound repo impr

Retour aux compétences