OmniMCP
par openadaptai
Interaction UI et perception visuelle pilotées par l'IA utilisant Microsoft OmniParser et MCP.
Ce qu'il fait
OmniMCP comble le fossé entre les LLM et les interfaces utilisateur complexes. En exploitant l'OmniParser de Microsoft, il permet aux modèles d'IA de percevoir visuellement l'écran, d'identifier les éléments de l'UI et d'exécuter des actions précises de souris et de clavier pour atteindre des objectifs de manière autonome.
Outils
- Perception Visuelle : Analyse les captures d'écran pour identifier et étiqueter les composants interactifs de l'UI.
- Planificateur LLM : Génère une séquence d'actions basée sur l'état visuel actuel et l'objectif.
- Exécuteur d'Agent : Orchestre la boucle percevoir-planifier-agir pour l'exécution continue des tâches.
- Contrôleur d'Entrée : Effectue des interactions physiques via pynput pour le contrôle de la souris et du clavier.
Installation
{
"mcpServers": {
"omnimcp": {
"command": "python",
"args": ["/path/to/OmniMCP/cli.py"]
}
}
}
Hôtes supportés
- Claude Desktop
- Linux (X11/Wayland)
Installation rapide
git clone https://github.com/OpenAdaptAI/OmniMCP.git && cd OmniMCP && ./install.shInformations
- Tarification
- free
- Publié
- 5/1/2026
- étoiles
- 0
Catégories
Choisissez votre client IA et suivez les étapes ci-dessous.
Claude Desktop
Add to claude_desktop_config.json with python and cli.py pathApps similaires
DiffSitter MCP
MCP ServerAI-powered structural code navigation using tree-sitter ASTs for semantic understanding across 14+ languages.
OpenAI Apps SDK Examples
MCP AppOfficial example gallery of interactive MCP widgets for ChatGPT — 3D viewers, maps, carousels, shopping carts, and more.
Human MCP
MCP ServerGive AI agents human-like senses: visual analysis, image/video generation, speech synthesis, browser automation, and advanced reasoning — 29 MCP tools in one se
Shopify MCP Server
MCP ServerDirect interaction with Shopify store data via GraphQL API for managing products, customers, and orders.
Git MCP Server
MCP ServerFull-featured Git MCP server exposing 28 tools for AI agents to clone, commit, branch, diff, merge, rebase, and more via STDIO or Streamable HTTP.
CodexPotter
MCP ServerAutonomous reconciliation loop that drives Codex to align your codebase with instructed states.
Smart Coding MCP
MCP ServerSemantic code search for AI assistants using local embeddings — find code by meaning, not just keywords.
Snowflake MCP Server
MCP ServerDirect Snowflake database interaction via MCP, enabling AI to run SQL queries, explore schemas, and manage data insights.