VidAudio-Bench: Benchmarking V2A and VT2A Generation across Four Audio Categories

VidAudio-Bench : Benchmarking V2A et VT2A Generation à travers quatre catégories audio

https://ift.tt/yq6Bg1L

La génération Vidéo-vers-Audio (V2A) est essentielle pour des expériences multimédias immersives, mais son évaluation demeure peu explorée. Les benchmarks existants évaluent généralement divers types d’audio sous un protocole unifié, en négligeant les exigences fines propres à chaque catégorie audio. Pour combler cette lacune, nous proposons VidAudio-Bench, un benchmark multi-tâches pour l’évaluation V2A avec quatre caractéristiques clés : (1) couverture étendue : couvre quatre catégories audio représentatives – effets sonores, musique, discours et chant – sous les réglages V2A et Vidéo-Texte-à-Audio (VT2A). (2) Évaluation extensive : comprend 1 634 paires vidéo-texte et évalue 11 modèles de génération à l’état de l’art. (3) Métriques complètes : introduit 13 métriques spécifiques à la tâche, sans référence, pour évaluer systématiquement la qualité audio, la cohérence vidéo-audio et la cohérence texte-audio. (4) Alignement humain : valide toutes les métriques via des études subjectives, démontrant une forte cohérence avec les préférences humaines. Les résultats expérimentaux révèlent que les modèles V2A actuels obtiennent de faibles performances en discours et chant par rapport aux effets sonores. Nos résultats VT2A mettent en évidence une tension fondamentale entre le suivi des instructions et la génération visuellement fondée : un conditionnement visuel plus fort améliore l’alignement vidéo-audio, mais souvent au détriment de générer la catégorie audio souhaitée. Ces résultats établissent VidAudio-Bench comme un cadre complet et évolutif pour diagnostiquer les systèmes V2A et fournissent de nouvelles perspectives sur la génération multimodale audio.

HI-FI News

via Artificial Intelligence https://ift.tt/OsDap2u

14 avril 2026 à 05:27 AM

April 14, 2026 at 05:27AM