OmniGrip

Ce qu'il fait

OmniGrip transforme les modèles de langage en agents actifs capables d'interagir avec n'importe quel environnement de bureau. Il fournit un pont complet entre les LLM et le système d'exploitation, permettant à l'IA de voir l'écran, de lire du texte via l'OCR et d'effectuer des actions précises de souris et de clavier sur macOS, Windows et Linux.

Outils

• take_screenshot : Capture l'affichage actuel au format JPEG pour analyse visuelle.
• mouse_click : Effectue des clics gauche, droit ou milieu à des coordonnées spécifiques.
• keyboard_type : Saisit du texte Unicode dans l'application active.
• get_ocr_data : Extrait tout le texte de l'écran avec des coordonnées précises.
• list_windows : Récupère la liste de toutes les fenêtres système visibles.
• focus_window : Place une fenêtre spécifique au premier plan via son ID.
• clipboard_read/clipboard_write : Gère le contenu du presse-papier du système.

Installation

Compiler depuis les sources avec Rust :

git clone https://github.com/zibo-chen/OmniGrip.git
cd OmniGrip
cargo build --release

Ajouter à claude_desktop_config.json :

{
  "mcpServers": {
    "omni-grip": {
      "command": "/path/to/omni-grip",
      "args": []
    }
  }
}

Hôtes supportés

• claude