Tokio Prompt Orchestrator
par Mattbusel
Orchestration multi-cœur de qualité production pour les pipelines LLM avec coupe-circuits et limitation de débit.
Ce qu'il fait
Fournit une couche d'orchestration asynchrone haute performance pour les pipelines d'inférence LLM. Il résout des problèmes de production critiques tels que les effets de foule (thundering herds), l'instabilité des fournisseurs et l'opacité des coûts en implémentant un DAG à contre-pression bornée avec des couches de résilience.
Outils
infer: Exécute un prompt via le pipeline optimisé.batch_infer: Effectue une inférence multi-prompt avec un micro-batching intelligent.pipeline_status: Retourne les métriques de santé en temps réel des étapes du pipeline.configure_pipeline: Met à jour dynamiquement les paramètres du pipeline.replay_dlq: Réinjecte les requêtes échouées depuis la file d'attente d'erreurs (dead-letter queue).
Installation
Exécutez le binaire MCP et ajoutez-le à votre fichier claude_desktop_config.json :
{
"mcpServers": {
"orchestrator": {
"url": "http://127.0.0.1:8080"
}
}
}
Hôtes supportés
- Claude Desktop
Installation rapide
cargo run --bin mcp --features mcpInformations
- Tarification
- free
- Publié
- 4/17/2026
- étoiles
- 0
Catégories
Choisissez votre client IA et suivez les étapes ci-dessous.
Claude Desktop
{"mcpServers": {"orchestrator": {"url": "http://127.0.0.1:8080"}}}Apps similaires
OpenAI Apps SDK Examples
MCP AppOfficial example gallery of interactive MCP widgets for ChatGPT — 3D viewers, maps, carousels, shopping carts, and more.
Human MCP
MCP ServerGive AI agents human-like senses: visual analysis, image/video generation, speech synthesis, browser automation, and advanced reasoning — 29 MCP tools in one se
Git MCP Server
MCP ServerFull-featured Git MCP server exposing 28 tools for AI agents to clone, commit, branch, diff, merge, rebase, and more via STDIO or Streamable HTTP.
CodexPotter
MCP ServerAutonomous reconciliation loop that drives Codex to align your codebase with instructed states.
Smart Coding MCP
MCP ServerSemantic code search for AI assistants using local embeddings — find code by meaning, not just keywords.
Recall
MCP ServerPersistent cross-session memory for Claude and AI agents. Self-host on Redis/Valkey or use the managed cloud at recallmcp.com — free tier available.
GFS (Git For database Systems)
MCP ServerSafe database version control for AI coding agents and developers with instant rollbacks and branching.
OpenServ Agent SDK
MCP ServerTypeScript framework for building autonomous AI agents on the OpenServ platform — with MCP support, inter-agent collaboration, and built-in local dev tunnel.