Guide Megatron CI/CD

Ce qu'il fait

Documente les flux de travail CI/CD utilisés par le projet Megatron-LM de NVIDIA. La compétence explique la structure principale du flux de travail GitHub Actions, l'arbre de décision pour les libellés de PR qui contrôlent la portée des tests et le nombre de répétitions, la manière dont les images sont poussées vers les registres, et les commandes pratiques pour déclencher le CI interne et localiser les journaux du pipeline. Elle fournit également des procédures pour enquêter sur les échecs et les corréler aux modifications de la PR.

Quand l'utiliser

Utilisez-la pour déboguer des exécutions CI échouées, décider des libellés de PR à attacher pour ouvrir une PR, déclencher des pipelines internes sans accès à l'interface utilisateur, ou comprendre comment les étapes du CI correspondent à la portée des tests et aux images de conteneur. Idéal pour les mainteneurs, les ingénieurs CI et les contributeurs travaillant sur le code d'entraînement de modèles où la sélection de la portée des tests est cruciale.

Ce qui est inclus

• Scripts : références à tools/trigger_internal_ci.py et exemples d'utilisation pour déclencher le CI GitLab interne.
• Références : notes dans le corps du texte sur les noms de fichiers de flux de travail, les registres de conteneurs et la gestion des artefacts de journal.
• Instructions : commandes étape par étape pour extraire les numéros de PR à partir des noms de branches, utiliser gh pour visualiser les métadonnées et les exécutions de PR, et conseils pour localiser et lire les artefacts et journaux CI.

Agents compatibles

Inféré : agents orientés développeurs avec accès shell et capacité CLI GitHub (gh, bash), et agents utilisés par les mainteneurs pour l'automatisation du CI.