Nib

Ce qu'il fait

Nib est un outil d'annotation de captures d'écran qui fait le pont entre la pensée visuelle humaine et la compréhension de l'IA. Il utilise le QML (Quick Markup Language), un protocole sémantique où chaque annotation (flèches, boîtes, étiquettes) a une signification définie que l'IA peut analyser et comprendre.

Outils

• capture : Capturer interactivement une région de l'écran.
• gui : Ouvrir l'éditeur d'annotation GUI pour une image.
• add-annotation : Ajouter des annotations sémantiques sans interface via le CLI.
• render : Intégrer les annotations dans un fichier image final.
• read : Extraire les données sémantiques QML d'une image annotée.
• find-text : Effectuer une recherche de texte OCR dans une image et mettre en évidence les résultats.
• grid : Ajouter un quadrillage de coordonnées pour une référence spatiale précise.
• feedback : Déclencher une boucle de rétroaction humaine pour les annotations.

Installation

Pour macOS, installez via Homebrew :

brew install douglance/tap/nib

Hôtes supportés

• Claude Desktop