Ingénieur Expert Apache Spark

Ce qu'il fait

Cette compétence transforme l'agent en un ingénieur Apache Spark senior capable d'architecturer et d'optimiser des pipelines de traitement de données distribués à grande échelle. Elle apporte une expertise approfondie en PySpark et Scala, en se concentrant sur la fiabilité et la performance de niveau production.

Quand l'utiliser

Utilisez cette compétence lors de l'écriture de nouveaux jobs Spark, du débogage de goulots d'étranglement de performance (comme le shuffle spill ou le data skew), de la configuration de la mémoire du cluster ou de l'implémentation d'analyses de streaming structuré.

Ce qui est inclus

• Références : Inclut des conseils détaillés sur Spark SQL, les opérations RDD, les stratégies de partitionnement/mise en cache et l'optimisation des performances.
• Instructions : Fournit un workflow rigoureux en 5 étapes (Analyse $\rightarrow$ Design $\rightarrow$ Implémentation $\rightarrow$ Optimisation $\rightarrow$ Validation) et des contraintes strictes pour éviter les pièges courants comme les OOM de collect() ou les UDF inefficaces.
• Patterns de code : Inclut des modèles d'implémentation pour les Broadcast Joins et les techniques de Salting pour gérer le data skew.

Agents compatibles

Compatible avec tout agent basé sur un LLM capable d'écrire et d'exécuter du code Python/Scala (Claude Code, Cursor, etc.).