
de opendatalab
Exécutez, validez et analysez les évaluations de parsing de documents OmniDocBench avec des flux Docker/conda et l'analyse des résultats.
python pdf_validation.py --config ... à l'intérieur de l'image Docker recommandée ghcr.io/zeng-weijun/omnidocbench-eval:repro-ubuntu2204.\n- Analyse et résume les fichiers *_metric_result.json, *_run_summary.json, *_stage_execution.json et *_runtime_environment.json.\n- Dépannage : accès Docker, erreurs OOM de CDM, problèmes de politique ImageMagick, capitalisation GT et imbrication des dossiers de prédiction.\n\n## Prompts / Usage recommandés\n- "Comment exécuter l'évaluation end2end OmniDocBench sur mes JSON GT et mes prédictions markdown ?"\n- "Aidez-moi à analyser un répertoire de résultats OmniDocBench et à extraire les scores globaux, texte, formule et tableau."\n- "Je rencontre des erreurs OOM avec CDM — comment régler cdm_workers sur un nœud 4CPU/8GB ?"\n\n## Installation / Scripts\nLe skill inclut les scripts : scripts/generate_end2end_config.py et scripts/parse_results.py pour la génération de configurations et l'analyse des résultats. Suivez le flux Docker indiqué dans le skill pour éviter les problèmes de dépendances locales.\nUne compétence bien documentée pour exécuter des évaluations de parsing de documents OmniDocBench via Docker ou conda. Le SKILL.md est approfondi avec validation des entrées, flux Docker/SSH, conseils de configuration et un guide de dépannage détaillé. Aucun script intégré à tester. La posture de sécurité est forte : montages en lecture seule pour les entrées, pas de commandes destructrices, pas d'identifiants, sudo non interactif uniquement en dernier recours. La principale limitation est l'audience restreinte — utile uniquement aux chercheurs évaluant des modèles de parsing de documents sur OmniDocBench.
Aucun script à exécuter. Déductions de sécurité : -3 pour l'interpolation de variables shell dans les heredocs/commandes Docker (risque d'injection mineur si les chemins utilisateur contiennent des caractères spéciaux, bien que les chemins soient quotés dans la validation), -2 pour le modèle de repli sudo -n. La qualité est élevée mais il n'y a pas de scripts idempotents à vérifier. L'architecture est bonne — sections claires, divulgation progressive, conseils de parsing des résultats — mais pas de répertoires scripts/ ou references/. L'utilité est de niche : seuls les chercheurs exécutant des évaluations OmniDocBench utiliseraient cela.