TrueFoundry AI Gateway

Ce que cela fait

Cette compétence documente comment configurer et appeler l'AI Gateway de TrueFoundry — un point de terminaison unique compatible OpenAI qui route les requêtes vers de nombreux fournisseurs de LLM (OpenAI, Anthropic, Azure, vLLM auto-hébergé, etc.), applique des limites de débit et des budgets, et fournit une observabilité. Elle inclut des extraits de code (Python, Node, curl) et des exemples YAML pour le routage, l'équilibrage de charge, les limites de débit et les contrôles budgétaires.

Quand l'utiliser

Utilisez cette compétence lorsque vous souhaitez une API unifiée pour appeler plusieurs fournisseurs de LLM, implémenter des limitations de débit ou des budgets de coût, ajouter un basculement/équilibrage de charge entre les fournisseurs, ou attacher des modèles auto-hébergés à une passerelle centrale. Utile également lors de l'intégration de la gateway avec LangChain, LlamaIndex, ou des flux CI/CD appliquant la configuration de la gateway.

Ce qui est inclus

• Scripts : oui — le dépôt contient des scripts et des références pour appliquer les configurations de la gateway.
• Références : oui — instructions détaillées, exemples et manifestes recommandés pour le routage, les limites de débit et les budgets.
• Instructions : extraits de code étape par étape pour Python (SDK OpenAI), JavaScript et cURL, ainsi que des manifestes YAML et des conseils de test.

Agents compatibles

Appelants typiques : agents de codage et automatisations utilisant des SDK compatibles OpenAI (intégrations de style Copilot/Codex, exécuteurs LangChain, automatisation CI).