
de webclaw8
Moteur d'extraction web local-first avec contournement automatique des anti-bots et sortie optimisée pour LLM — scrappez, crawlez, extrayez des données structurées et surveillez des sites.
WebClaw est un moteur d'extraction web de haute qualité qui récupère et nettoie des pages web (markdown, texte ou JSON), gère automatiquement les protections anti-bots via un fallback cloud, et fournit des points de terminaison pour le scraping, le crawling, le mapping, l'extraction, le résumé, le diff et la surveillance. Il est optimisé pour produire des sorties adaptées aux LLM et pour l'extraction de données structurées.
Utilisez WebClaw lorsque web_fetch échoue (bloqué par Cloudflare/DataDome ou nécessite le rendu JS), lorsque vous avez besoin d'une extraction structurée (tableaux de prix, spécifications de produits), lors du crawling de sites à grande échelle, ou lorsque vous avez besoin d'une surveillance/comparaison du contenu des pages au fil du temps. Idéal pour les pipelines RAG et la recherche automatisée.
Adapté aux agents ayant un accès réseau et supportant les clés API ; s'intègre bien aux flux de travail LLM nécessitant un contenu web fiable, et aux configurations de serveurs MCP pour l'auto-hébergement.
WebClaw is a web extraction skill with 12 API endpoints for scraping, crawling, extracting, summarizing, searching, and monitoring web content with automatic antibot bypass. No bundled scripts — it operates purely via API calls using WEBCLAW_API_KEY. The SKILL.md is comprehensive with clear endpoint documentation, request/response examples, and usage tips. API key is passed via environment variable (good practice), and all network calls go to a single known API host (api.webclaw.io). No destructive commands, no exfiltration instructions, no shell injection risks.
Well-documented API skill with no scripts. All traffic goes to api.webclaw.io via HTTPS. No hardcoded credentials, no destructive commands, no shell injection vectors. The skill is essentially a well-structured API reference. Minor deduction for telemetry aspect: the skill directs all web scraping through a third-party service which could log URLs scraped. Architecture is solid but monolithic — one large SKILL.md with all 12 endpoints could benefit from splitting into references/. Code quality is good with clear instructions, good examples, and helpful comparison tables, but lacks error handling guidance or troubleshooting section.