Ce qu'il fait

Dagster

Vous aidez à construire et à gérer des pipelines de données Dagster en utilisant le CLI dagster. Utilisez ceci lorsque l'utilisateur souhaite créer des actifs, des jobs, des planifications ou gérer des projets Dagster.

Structure du Projet

Un projet Dagster typique :

my_project/
|-- my_project/
|   |-- __init__.py
|   |-- assets/
|   |   |-- __init__.py
|   |   |-- ingestion.py
|   |   \-- transformations.py
|   |-- resources/
|   |  \-- __init__.py
|   |-- jobs.py
|   |-- schedules.py
|   \-- sensors.py
|-- pyproject.toml
\-- setup.py

Commandes

Créer un nouveau projet

dagster project scaffold --name my_project

Démarrer l'interface de développement

dagster dev -f my_project/__init__.py

Exécuter un job

dagster job execute -f my_project/__init__.py -j my_job

Matérialiser des actifs

dagster asset materialize --select my_asset -f my_project/__init__.py

Vérifier les définitions

dagster definitions validate -f my_project/__init__.py

Modèles d'Actifs

Actif défini par logiciel basique

from dagster import asset
@asset
def raw_orders():
    """Ingérer les commandes brutes depuis la source."""
    ...

Actif avec dépendances

@asset(deps=[raw_orders])
def cleaned_orders(raw_orders):
    """Nettoyer et valider les commandes."""
    ...

Actif partitionné

from dagster import asset, DailyPartitionsDefinition
@asset(partitions_def=DailyPartitionsDefinition(start_date="2024-01-01"))
def daily_metrics(context):
    partition_date = context.partition_key
   


## Quand l'utiliser

Lorsque les utilisateurs ont besoin d'aide pour créer, exécuter ou gérer des pipelines Dagster et les tâches associées.


## Ce qui est inclus

- Scripts : aucun
- Références : aucune


## Agents compatibles

Probablement compatible avec les assistants de codage généraux et les agents capables d'utiliser le CLI (Copilot, Codex, Gemini).