Bodhi App

Ce qu'il fait

Bodhi App est un exécuteur de LLM local complet qui permet aux utilisateurs de déployer des modèles open-source (comme Llama, Mistral et Gemma) sur leur propre matériel. Il s'appuie sur l'écosystème HuggingFace pour la découverte de modèles et est propulsé par llama.cpp pour une inférence efficace.

Outils

• API compatible OpenAI : Fournit des points de terminaison pour les complétions de chat et les modèles pour les intégrations externes.
• Gestionnaire de modèles : Intégration directe avec HuggingFace pour télécharger et gérer les fichiers GGUF.
• SwaggerUI : Documentation interactive intégrée pour tester les points de terminaison de l'API en direct.
• Interface de Chat Locale : Une interface responsive supportant le markdown pour permettre aux utilisateurs non techniques d'interagir avec les LLM.

Installation

Pour les utilisateurs de Mac, installez via Homebrew :

brew install --cask BodhiSearch/apps/bodhi

Ou via Docker (variante CPU) :

docker run -p 8080:8080 -v ./bodhi_home:/data/bodhi_home -v ./hf_home:/data/hf_home ghcr.io/bodhisearch/bodhiapp:latest-cpu

Hôtes supportés

• claude