de awesome-copilot32,830
Créer, exécuter et analyser des expériences Arize pour évaluer et comparer les performances des modèles à l'aide de l'interface CLI ax.
Fournit des conseils étape par étape et des flux de travail CLI pour créer, exporter, exécuter et comparer des expériences Arize. Il couvre l'exportation de jeux de données, l'exécution d'inférences pour produire des runs, l'exportation des résultats et la comparaison des métriques d'évaluation pour le benchmarking et les tests A/B de modèles. Comprend des instructions claires pour utiliser l'interface CLI ax afin de lister, récupérer ou exporter des expériences et des modèles pour acheminer les exports d'expériences vers des scripts d'inférence.
Utilisez cette compétence lorsque vous devez évaluer la performance d'un modèle avec Arize : créer des expériences, exporter des runs, exécuter des inférences en masse sur des exemples de jeux de données, comparer deux expériences ou extraire des métriques pour analyse. Déclenchez-la lorsque l'utilisateur mentionne des expériences, des benchmarks, des tests A/B de modèles, l'évaluation de modèles, l'exportation de runs ou l'utilisation de la CLI ax.
Fonctionne avec les agents capables d'exécuter des commandes shell et d'invoquer des SDK de fournisseurs (OpenAI, Anthropic, Google Gemini, proxys compatibles OpenAI personnalisés).
Cette compétence n'a pas encore été examinée par notre pipeline d'audit automatisé.
Générateur de Blueprints d'Instructions Copilot
Génère un blueprint agnostique techniquement pour créer des fichiers copilot-instructions.md alignant la sortie de Copilot avec l'architecture exacte, les versions et les normes d'un projet.
Quality Playbook
Exécutez un audit complet d'ingénierie de la qualité sur n'importe quelle base de code. Déduit les exigences comportementales du code, génère des tests fonctionnels tracés selon les spécifications, et effectue une revue de code en trois passages.
