
de api-relay-audit427
Un audit de sécurité automatisé en 11 étapes pour les services de relais/proxy d'API IA — détecte l'injection de prompts, la troncature de contexte, la substitution d'appels d'outils et les problèmes d'intégrité du flux.
Fournit un audit structuré en 11 étapes via une seule commande pour les relais d'API IA tiers (compatibles OpenAI ou Anthropic). Les tests incluent la reconnaissance d'infrastructure, l'énumération des modèles, la mesure de l'injection de jetons, plusieurs méthodes d'extraction de prompts, des vérifications de jailbreak, la détection des limites de longueur de contexte, des sondes de substitution d'appels d'outils (AC-1.a), des analyses de fuite de réponses d'erreur (AC-2), des vérifications d'intégrité du flux SSE et des sondes optionnelles spécifiques au Web3. Produit un rapport de risque au format Markdown.
Exécutez cette compétence lorsque vous devez vérifier la sécurité d'un service de relais avant de l'utiliser pour des charges de travail sensibles : en cas de suspicion d'injection de prompt cachée, de consommation inhabituelle de jetons/facturation, de troncature de contexte, ou lors de l'intégration d'un nouveau relais tiers. Utile également pour déboguer un comportement inattendu du modèle pouvant provenir d'une altération du proxy.
audit.py) conçu pour fonctionner avec Python3 + curl ; le fichier SKILL.md documente l'utilisation de la CLI et les drapeaux.Agents focalisés sur la sécurité et l'infrastructure, intégrations d'outils DevOps/infosec, et tout agent capable d'exécuter des outils CLI Python et d'analyser des rapports Markdown.
API Relay Security Audit is a comprehensive 14-step automated security audit for testing third-party AI API relay/proxy services for prompt injection, context truncation, tool-call substitution, and other relay threats. The SKILL.md is exceptionally detailed with clear triggers, step-by-step workflow, and risk interpretation tables. The main audit.py script (82KB) is well-structured but uses subprocess.run with shell=True for DNS/WHOIS/SSL lookups and ssl._create_unverified_context() for cert fetching. All 7 scripts failed to run in isolation: audit.py and context-test.py need the api_relay_audit package; build-standalone.py and sync-version.py need a VERSION file; extract-data.py and process_submission.py are CI helpers requiring specific arguments. The curl download pattern in SKILL.md uses -fsSL which is safer than piped shell but still downloads remote code, mitigated by version pinning.
api_relay_audit (module package)Legitimate security audit tool for testing API relay services. Security deductions: -12 for shell=True subprocess usage, -10 for ssl._create_unverified_context (2x, contextually justified for an SSL cert audit tool), -6 for curl-based remote code download pattern in SKILL.md instructions. Well-designed for its purpose. Scripts are development/CI helpers rather than agent-facing tools, slightly reducing out-of-box quality. Architecture is strong with good frontmatter, clear separation, progressive disclosure. Usefulness is high: API relay security auditing is a genuine and growing need in the AI ecosystem.