FastAPI-BitNet

Ce qu'il fait

FastAPI-BitNet fournit un pont haute performance entre le Model Context Protocol (MCP) et le framework d'inférence BitNet de Microsoft. Il permet aux agents IA de lancer, gérer et interagir avec des processus llama-cli et llama-server de manière programmatique, en utilisant les architectures LLM 1-bit de BitNet via une API REST.

Outils

• session_management : Démarrer, arrêter et surveiller des sessions de chat BitNet persistantes.
• batch_operations : Initialiser et interagir avec plusieurs instances de modèles en un seul appel.
• interactive_chat : Envoyer des prompts aux sessions en cours et recevoir des réponses de modèle nettoyées.
• model_benchmarking : Exécuter des benchmarks et calculer la perplexité sur des modèles GGUF.
• resource_estimation : Estimer la capacité du serveur en fonction de la RAM système et des threads CPU.

Installation

Ajoutez les éléments suivants à votre fichier claude_desktop_config.json :

{
  "mcpServers": {
    "fastapi-bitnet": {
      "url": "http://127.0.0.1:8080/mcp"
    }
  }
}

Note : Le serveur doit être exécuté via Docker ou Uvicorn sur le port 8080.

Hôtes supportés

Confirmé pour VS Code Copilot et Claude Desktop.