MoE Expert-Parallel Overlap

Ce qu'il fait

Cette compétence explique comment activer et valider le chevauchement Expert-Parallel (EP) pour les modèles Mixture-of-Experts (MoE) dans Megatron-Bridge. Elle décrit les options de configuration (overlap_moe_expert_parallel_comm, delay_wgrad_compute), les choix de dispatcher (alltoall vs flex), les configurations minimales fonctionnelles, les contraintes d'exécution et les étapes de vérification, y compris les tests unitaires et les vérifications de logs. Les conseils sont pratiques : commencez par le dispatcher alltoall pour la compatibilité, puis passez à flex (DeepEP/HybridEP) sur les GPU compatibles pour un chevauchement plus élevé.

Quand l'utiliser

Utilisez cette compétence lors de l'exécution de modèles MoE où la communication dispatch/combine est un goulot d'étranglement mesurable et que vous souhaitez échanger de la mémoire/du temps pour améliorer le débit. Elle est appropriée pour optimiser le débit sur des nœuds multi-GPU, diagnostiquer des régressions de débit liées aux paramètres EP, ou valider des interactions complexes (wgrad différé, graphes CUDA). Évitez de l'utiliser lors du démarrage initial ou lorsque le recalcul complet de l'activation est activé.

Ce qui est inclus

• Scripts : des exemples de harnais de performance et des tests unitaires sont référencés (tests/unit_tests/training/test_comm_overlap.py, test_deepep.py). (has_scripts: false dans ce package de repo, mais des exemples existent dans l'arborescence)
• Références : des liens vers la documentation et des métadonnées de cartes structurées sont fournis dans le corps de la compétence.
• Instructions : blocs d'activation clairs pour les dispatchers alltoall et flex, commandes minimales exécutables, étapes de vérification et modes de défaillance connus avec corrections.

Agents compatibles

Il s'agit d'une compétence technique axée sur le code, utile aux agents capables de lire du code, d'exécuter des tests et de modifier des configurations d'entraînement (assistants de type Copilot, agents orientés développeurs). Elle suppose l'accès à un environnement de développement avec Python et le dépôt d'entraînement.