Compétences d'agent

MoE Expert-Parallel Overlap (Megatron-Bridge)

skills

Conseils et configurations pour activer le chevauchement des communications parallèles d'experts dans Megatron-Bridge pour les modèles MoE — utilisez-le pour masquer la latence de dispatch/combine et améliorer le débit.

MoE Expert-Parallel Overlap

megatron-bridge

Guide l'activation et la validation du chevauchement de communication expert-parallel MoE dans Megatron-Bridge pour masquer la latence de dispatch/combine et améliorer le débit.