MCP Web Content Extractor

Ce qu'il fait

Connecte une IA au web avec la capacité de contourner les scrapers traditionnels. Il utilise l'automatisation du navigateur pour gérer le contenu dynamique, le chargement différé (lazy-loading) et les sessions authentifiées, optimisé spécifiquement pour l'extraction d'historiques de chat Gemini volumineux.

Outils

• extract_dynamic_content : L'outil principal pour l'extraction à haut volume avec défilement automatisé et authentification.
• extract_url_content : Extraction rapide basée sur HTTP pour les pages statiques.
• extract_url_content_clean : Retourne le contenu HTML nettoyé.
• extract_url_content_structured : Organise le contenu de la page en sections logiques.
• extract_with_browser_session : Utilise les cookies fournis pour accéder aux pages authentifiées.
• login_and_extract_google : Automatise la connexion Google pour récupérer des données privées comme les chats Gemini.

Installation

{
  "mcpServers": {
    "Web Content Extractor": {
      "command": "python3",
      "args": ["/path/to/main.py"],
      "protocol": "mcp"
    }
  }
}

Hôtes supportés

Support confirmé pour Cursor. Claude est utilisé par défaut comme hôte MCP standard.