Web Scraper

Ce qu'il fait

Cette compétence fournit une capacité d'extraction (scraping) et d'exploration (crawling) web polyvalente. Elle peut récupérer des pages via HTTP, utiliser un navigateur sans tête (headless) pour les sites rendus côté client, et renvoyer un JSON structuré contenant le texte, les tableaux et les listes extraits. Utilisez-la pour extraire des corps d'articles, des données de produits ou pour surveiller programmatiquement les changements d'un site. Elle prend en charge le traitement par lots d'URL et la gestion de la pagination pour les ensembles de données multi-pages.

Quand l'utiliser

Utilisez cette compétence lorsque vous avez besoin d'une extraction de contenu fiable à partir de sites statiques ou lourds en JavaScript, pour collecter des informations sur des produits, extraire des tableaux ou constituer des ensembles de données à partir de pages web publiques. Privilégiez-la pour la recherche, le data-mining, la surveillance des mises à jour de sites et les cas où vous souhaitez une sortie JSON bien structurée. Respectez les conditions d'utilisation des sites et les limites de requêtes (rate limits).

Ce qui est inclus

• Scripts : aucun script groupé avec SKILL.md (des exemples sont présents dans le corps).
• Références : aucune pièce jointe.
• Instructions : exemples clairs de format JSON de tâche, modes d'extraction (auto, curl-only, browser-only) et conseils sur les meilleures pratiques pour les délais et la gestion des erreurs. Le corps décrit les modèles d'utilisation pour l'extraction d'une seule page, le traitement par lots et les flux de travail de data-mining.

Agents compatibles

Fonctionne avec les outils d'agent capables d'effectuer des requêtes HTTP ou de contrôler des navigateurs sans tête (exemples : agents de style Claude/Code, intégrations Cursor/Copilot ou environnements d'exécution Node/Python personnalisés).