Microservice d'Inférence TAO

Name: Microservice d'Inférence TAO
Author: nvidia-tao

Déployez et gérez des microservices d'inférence TAO spécifiques au réseau sur diverses plateformes de calcul, notamment Docker, Kubernetes et Slurm.

déclencheurs:run inferenceTAO microservicedeploy TAO modelinference endpointstop inference service

GitHub SKILL.md

Ce qu'il fait

Cette compétence permet à un agent d'orchestrer l'ensemble du cycle de vie des microservices d'inférence TAO (Torch-Audio-Omniverse). Elle gère la complexité de la correspondance entre les architectures réseau et les images de conteneurs spécifiques, la construction des charges utiles des jobs et la gestion du registre de services pour garantir des points de terminaison prévisibles pour les requêtes d'inférence.

Quand l'utiliser

Utilisez cette compétence lorsqu'un utilisateur souhaite déployer un checkpoint de modèle TAO pour l'inférence, démarrer un nouveau point de terminaison d'inférence ou arrêter un conteneur de microservice existant. Elle est spécifiquement conçue pour les flux de travail nécessitant une inférence IA haute performance via des microservices.

Ce qui est inclus

Références : Mappages détaillés pour la résolution d'images, les schémas de requête et des modèles de code Python pour la construction de charges utiles et la gestion du registre.
Instructions : Une procédure complète pour la résolution d'images, l'exécution spécifique à la plateforme (local-docker, brev, slurm, kubernetes), l'allocation de ports pour éviter les conflits et la collecte de paramètres d'échantillonnage de style vLLM.

Agents compatibles

Conçu pour les agents avancés capables d'exécuter des commandes shell et de gérer des environnements conteneurisés (par exemple, Claude Code, Codex ou des agents OpenClaw personnalisés).

Étiquettes

#inference #microservice #nvidia-tao #deployment #vllm #containers #ai-ops

Pas encore audité

Cette compétence n'a pas encore été examinée par notre pipeline d'audit automatisé.

Informations

Dépôt: tao-skill-bank
Étoiles: 80

Compétences similaires

Monad Development

Practical developer skill for deploying and verifying smart contracts, configuring Foundry projects, and integrating frontends (viem/wagmi) on the Monad blockch

Starlark Dev

Create, debug, and test Kurtosis Starlark packages — write package structure, run dry-runs, and inspect plan execution for reliable orchestration.

Sandbox0 Integration

Guidance and templates for integrating Sandbox0 sandboxing into AI agents — CLI/SDK patterns, templates, volumes, network policy, and deployment choices.

Go Data Structures

Authoritative guidance on choosing and using Go built-in and standard-library data structures, with practical best practices for slices, maps, arrays, container

Easy OpenClaw Config Guide

Interactive configuration and optimization guide for OpenClaw—walks users through testing, three rounds of channel-specific tuning, and optional channel onboard

Microsoft Foundry Classic — Expert Guidance

Comprehensive guidance for building, configuring, troubleshooting, and deploying Microsoft Foundry Classic agents and integrations.

Docker Compose Generator

Generate and validate Docker Compose files for multi-container apps with templates, best-practice guidance, and deployment/runbook outputs.

QwenCloud Model Selector

Advisory skill that recommends the best QwenCloud model and parameters for a task, balancing quality, speed, and cost.

Retour aux compétences