Arize Experiment

Ce qu'il fait

Fournit des conseils étape par étape et des flux de travail CLI pour créer, exporter, exécuter et comparer des expériences Arize. Il couvre l'exportation de jeux de données, l'exécution d'inférences pour produire des runs, l'exportation des résultats et la comparaison des métriques d'évaluation pour le benchmarking et les tests A/B de modèles. Comprend des instructions claires pour utiliser l'interface CLI ax afin de lister, récupérer ou exporter des expériences et des modèles pour acheminer les exports d'expériences vers des scripts d'inférence.

Quand l'utiliser

Utilisez cette compétence lorsque vous devez évaluer la performance d'un modèle avec Arize : créer des expériences, exporter des runs, exécuter des inférences en masse sur des exemples de jeux de données, comparer deux expériences ou extraire des métriques pour analyse. Déclenchez-la lorsque l'utilisateur mentionne des expériences, des benchmarks, des tests A/B de modèles, l'évaluation de modèles, l'exportation de runs ou l'utilisation de la CLI ax.

Ce qui est inclus

• Scripts : conseils et modèles pour infer.py et l'acheminement des exports ax vers des outils (has_references=true).
• Références : documents liés dans le dépôt pour la configuration, les profils et les conseils d'exportation.
• Instructions : comment exporter des jeux de données, générer des runs en appelant l'API réelle du modèle, vérifier les runs et créer des expériences via ax. Met l'accent sur le fait de ne jamais fabriquer de résultats et explique comment basculer entre les exports REST et Arrow Flight.

Agents compatibles

Fonctionne avec les agents capables d'exécuter des commandes shell et d'invoquer des SDK de fournisseurs (OpenAI, Anthropic, Google Gemini, proxys compatibles OpenAI personnalisés).