Web Scraping — Stratégie Adaptive

Ce qu'elle fait

Cette compétence guide un agent à travers un flux de travail de reconnaissance et de mise en œuvre de web-scraping adaptatif et phasé. Elle commence par des vérifications HTTP légères (curl), passe à la reconnaissance par navigateur et à l'interception de trafic si nécessaire, découvre les API/points de terminaison, valide les sélecteurs/chemins JSON et documente une stratégie d'extraction reproductible. Elle inclut également des conseils pour transformer un scraper fonctionnel en un Apify Actor de production (priorité TypeScript).

Quand l'utiliser

Utilisez-la lorsque vous devez extraire des données structurées d'un site web, enquêter sur des problèmes de blocage/403, trouver des API derrière un site ou convertir un scraper ad hoc en un actor de production. Les déclencheurs incluent : "scraper [site]", "extraire des données de", "je suis bloqué" et "En faire un Apify Actor".

Ce qui est inclus

• Scripts : aucun script groupé dans le dépôt (has_scripts=false) mais la compétence contient des exemples et des modèles exécutables (examples/*, modèles apify).
• Références : références dans le dépôt et documents de stratégie (has_references=false pour le flag de haut niveau, mais de nombreux sous-fichiers sont référencés dans le SKILL.md).
• Instructions : un flux de travail de reconnaissance détaillé en 6 phases (Phases 0-5), des étapes de validation, des conseils sur les tests de protection, un schéma de rapport et une liste de contrôle de production pour les Apify Actors.

Agents compatibles

Fonctionne bien pour les agents capables d'exécuter des flux shell et Node (Claude Code, Copilot/agents d'écriture de code, agents pouvant exécuter des exemples Playwright/Crawlee).