DS Plan (Planification Data Science)

Phase de Planification Data Science

ds-plan est la deuxième phase critique du flux de travail /ds, située entre le brainstorming et l'implémentation. Elle se concentre sur un profilage rigoureux des données et la création d'un plan d'analyse exécutable.

Méthodologie principale :

• La Loi de Fer : Exige qu'un fichier SPEC.md existe avant tout début de planification.
• Profilage Rigoureux : Va au-delà des échantillons .head() pour identifier les valeurs nulles, la dérive des types et les problèmes de granularité dans les queues de distribution et les groupes rares.
• Stratégie ETL : Déclenchée pour les grands ensembles de données (>1M de lignes), en se concentrant sur le push-down de filtres, le parallélisme et la mise en cache intermédiaire.
• Découverte de Compétences Externes : Empêche la duplication inutile en forçant la recherche d'exemples éprouvés dans d'autres compétences.
• Profilage de l'Extraction de Données : Une étape obligatoire pour les ensembles de données ≥ 50M de lignes afin de décider entre des extractions brutes et une agrégation côté serveur.
• Conception du Dataset Maître : Pour les projets multi-expositions, elle définit des ensembles de données canoniques minimaux pour assurer la cohérence entre tous les tableaux et figures.
• Inventaire des Paramètres : Centralise toutes les constantes d'analyse (filtres, seuils) dans un seul fichier de configuration pour éliminer les "nombres magiques".

Résultat : Produit un fichier .planning/PLAN.md exécutable par machine avec une décomposition détaillée des tâches et des commandes de vérification déterministes.