
de web-scraper39
Compétence de web-scraping adaptive qui choisit l'approche fiable la moins coûteuse (HTTP, navigateur, API ou hybride), découvre les API via l'interception de trafic et peut produ
Cette compétence guide un agent à travers un flux de travail de reconnaissance et de mise en œuvre de web-scraping adaptatif et phasé. Elle commence par des vérifications HTTP légères (curl), passe à la reconnaissance par navigateur et à l'interception de trafic si nécessaire, découvre les API/points de terminaison, valide les sélecteurs/chemins JSON et documente une stratégie d'extraction reproductible. Elle inclut également des conseils pour transformer un scraper fonctionnel en un Apify Actor de production (priorité TypeScript).
Utilisez-la lorsque vous devez extraire des données structurées d'un site web, enquêter sur des problèmes de blocage/403, trouver des API derrière un site ou convertir un scraper ad hoc en un actor de production. Les déclencheurs incluent : "scraper [site]", "extraire des données de", "je suis bloqué" et "En faire un Apify Actor".
Fonctionne bien pour les agents capables d'exécuter des flux shell et Node (Claude Code, Copilot/agents d'écriture de code, agents pouvant exécuter des exemples Playwright/Crawlee).
Compétence complète de web-scraping avec un flux de travail adaptatif phasé (curl rapide → navigateur → scan approfondi → test de protection → rapport). Aucun script intégré — SKILL.md basé uniquement sur des instructions avec une divulgation progressive étendue à travers les sous-répertoires strategies/, workflows/, reference/ et apify/. Portes de qualité et phase d'auto-critique bien structurées. Liée à l'écosystème Apify/Crawlee, mais les phases de reconnaissance sont généralement applicables.
L'une des compétences les mieux documentées rencontrées. La divulgation progressive via des sous-répertoires est exemplaire. L'approche phasée avec des portes de qualité empêchant les lancements inutiles de navigateurs est bien conçue. La sécurité est propre — pas de fuite d'identifiants, de commandes destructrices ou de risques d'exfiltration.