Vérification de l'entraînement

Une compétence de surveillance pour les expériences spatiales/ML qui analyse les journaux d'expériences et les fichiers de sortie pour détecter les blocages, les échecs et l'achèvement. Elle définit un flux de travail phasé :

1. Phase 1 — Vérifier les expériences actives : inspecter les heures de modification des fichiers de sortie, lire les dernières lignes de log et rechercher des mots-clés d'erreur (Error, Traceback, NaN, MemoryError, Killed).
2. Phase 2 — Classifier le statut : règles pour OK, STALLED, CLEARLY BAD, COMPLETE, MEMORY FAIL, DEAD et les actions correspondantes.
3. Phase 3/3.5 — Actions et points de contrôle humains : lorsque HUMAN_CHECKPOINT est vrai, pause pour approbation avant les actions de récupération automatisées (ex: sous-échantillonnage, corrections auto, remise en file d'attente).
4. Phase 4 — Rapport de progression : émettre un résumé vers stdout et ajouter les alertes à output/PROJ_NOTES.md.

À utiliser quand : vous avez besoin d'un surveillant automatisé pour des expériences de longue durée (exécution périodique, ex: toutes les 15 minutes) pour éviter le gaspillage de ressources de calcul et signaler les problèmes rapidement.