Which One Is Sounding? Binaural Sounding Instance Disambiguation for Audio-Visual Segmentation

Which One Is Sounding? Binaural Sounding Instance Disambiguation for Audio-Visual Segmentation

Welches Exemplar gibt den Ton von sich? Disambiguierung des klingenden Exemplars für die audiovisuelle Segmentierung mithilfe binauralen Hörens

https://ift.tt/uNz02mD

Bisherige Methoden zur audiovisuellen Segmentierung sagen hauptsächlich klangbezogene Bereiche oder Klassenmasken voraus und können oft nicht erkennen, welches Exemplar den Ton von sich gibt, wenn mehrere Kandidaten derselben Klasse vorhanden sind. Neuere Methoden zur audiovisuellen Instanzsegmentierung ermöglichen zwar Vorhersagen auf Instanzebene, stützen sich jedoch weitgehend auf Bewegungen und die Verknüpfung von Objekten über mehrere Videobilder hinweg. Bei spärlichen Beobachtungen oder kaum wahrnehmbaren Bewegungen kann dies unzuverlässig sein. Um dieses Problem anzugehen, führen wir binaurales Audio ein, dessen interaurale Unterschiede Informationen über die Richtung der Schallquelle enthalten. Diese liefern räumliche Hinweise, um das klingende Exemplar unter den visuellen Kandidaten derselben Klasse zu unterscheiden. Wir stellen die Methode „Binaural Sounding Instance Disambiguation for Audio-Visual Segmentation“ (BiSID-AVS) vor, die Reaktionen auf Kandidaten auf Klassenebene schrittweise zu einer Maske des tatsächlich klingenden Exemplars verfeinert. BiSID-AVS verankert zunächst mithilfe von Audio-Prompts kategoriekonsistente Kandidatenbereiche. Anschließend projiziert die Methode binaurale Hinweise in eine räumliche Reaktionskarte auf der Bildebene und verfeinert schließlich das tatsächlich klingende Exemplar durch räumliche Konditionierung auf zwei Ebenen: in den Merkmalen und im Decoder. Experimente mit dem um binaurales Audio erweiterten AVS-Synthetic-Benchmark und dem Habitat-AVS-Datensatz für die robotische Innenraumerfassung zeigen, dass BiSID-AVS bei Teilmengen mit mehreren Kandidaten die besten Ergebnisse erzielt. Dabei verbessert sich die instanzbasierte mittlere IoU um 35,19 beziehungsweise 41,21 Prozentpunkte, während zugleich Fehlaktivierungen in nicht klingenden Bereichen derselben Klasse deutlich reduziert werden.

HI-FI News

über Artificial Intelligence https://ift.tt/2Nny1DF

5. November 2026 um 06:47 Uhr

November 5, 2026 at 06:47AM