Senior Data Engineer

Ce qu'il fait

Fournit une boîte à outils complète d'ingénierie des données axée sur la production : génération de DAG Airflow, squelettes de jobs de streaming (Flink/Spark), générateurs de configuration Kafka, validation de la qualité des données et analyse des performances. Il aide à construire des pipelines ETL/ELT de bout en bout et des architectures de streaming en temps réel avec surveillance et intégration CI/CD.

Quand l'utiliser

Utilisez cette compétence lorsque vous devez concevoir ou implémenter des pipelines de données de production (batch ou streaming), ajouter des contrôles automatisés de qualité des données, créer des squelettes de jobs streaming/Flink, générer des configurations Kafka, ou profiler et optimiser les performances des pipelines. Idéal pour l'ETL d'entreprise, la construction de data-lake/warehouse et l'infrastructure de données ML de production.

Ce qui est inclus

• Scripts : pipeline_orchestrator.py, data_quality_validator.py, stream_processor.py, kafka_config_generator.py, etl_performance_optimizer.py, streaming_quality_validator.py (has_scripts=true)
• Références : frameworks, templates, documentation des outils (has_references=true)
• Instructions : génération de pipeline pilotée par YAML, templates de DAG Airflow, guidage de modèle dbt, modèles de règles de qualité des données, flux de validation et de surveillance du streaming.

Agents compatibles

Idéalement conçu pour les agents capables d'exécuter des outils Python et de s'intégrer aux systèmes Git/CI (Copilot/assistants de code, Claude Code/Cursor), et pouvant fonctionner avec des piles de données conteneurisées ou cloud.