CAST-Bench: Tracing Every Sound to Its Source in Multi-Shot Audio-Video Generation

CAST-Bench: Tracing Every Sound to Its Source in Multi-Shot Audio-Video Generation

CAST-Bench: Jede Klangquelle in der Multi-Shot-Audio-Video-Generierung zurückverfolgen

https://ift.tt/n5qQ7DR

Bestehende Benchmarks für die gemeinsame Text-zu-Audio-Video-Generierung (T2AV) bewerten die wahrgenommene Qualität und die audiovisuelle Übereinstimmung. Eine ausgewogene Stichprobenziehung von Klangquellen und eine getrennte Auswertung nach Shot-Struktur sind jedoch bislang nur begrenzt möglich. Dadurch lässt sich nur schwer feststellen, ob ein bestimmter Klang fehlt, der falschen Quelle zugeordnet oder bei einem Shot-Wechsel verloren wurde. Um dieses Problem anzugehen, stellen wir CAST-BENCH vor – einen Benchmark, der jede generierte Klangquelle in der Multi-Shot-Audio-Video-Generierung zu ihrer vorgesehenen Quelle zurückverfolgt. Die Grundidee besteht darin, die Korrektheit von T2AV als audiovisuellen Vertrag zu formulieren: Jeder angeforderte Klang muss von der richtigen Quelle erzeugt werden, mit der entsprechenden visuellen Handlung synchronisiert sein und den richtigen semantischen Inhalt vermitteln. Konkret umfasst der Benchmark 900 Prompts, die in neun Klangquellenkategorien mit jeweils 100 Prompts unterteilt sind. Sie decken Sprache, Tiere, Instrumente, Umgebungsgeräusche und weitere Arten von Schallquellen ab. Die Prompts umfassen 439 Erzählungen mit einem einzelnen Shot und 461 mit mehreren Shots. Jede basiert auf einer strukturierten Spezifikation, die jedes Audioereignis mit seiner Quelle, seinem Subjekt und seinem zeitlichen Abschnitt verknüpft. Der Benchmark bietet eine Evaluationssuite mit 18 Metriken, die drei Dimensionen abdeckt: visuelle Leistung, inhaltliche Konsistenz sowie Audio- und semantische Übereinstimmung. Außerdem evaluieren wir zwölf repräsentative Generatoren und stellen fest, dass die visuelle Qualität bei führenden Systemen nahezu ausgereizt ist, während sich die Ergebnisse bei der Audiosemantik weiterhin deutlich unterscheiden. Bei den neun gemeinsam untersuchten Modellen erzielen Prompts mit mehreren Shots nach den jeweils geltenden Bewertungsregeln niedrigere Gesamtwerte und führen zu einer anderen Rangfolge der Modelle. Mehrpersonen-Sprache, eine über mehrere Shots hinweg konsistente Sprecheridentität und die Beibehaltung von Ereignissen über Shot-Grenzen hinweg bleiben die größten ungelösten Herausforderungen. Alle Prompts und der Evaluationscode sind verfügbar unter https://ift.tt/YiJGXqI.

HI-FI News

über Artificial Intelligence https://ift.tt/2Nny1DF

5. November 2026, 06:47 Uhr

November 5, 2026 at 06:47AM