Which One Is Sounding? Binaural Sounding Instance Disambiguation for Audio-Visual Segmentation
Welches Exemplar gibt den Ton von sich? Disambiguierung des klingenden Exemplars für die audiovisuelle Segmentierung mithilfe binauralen Hörens
https://ift.tt/uNz02mD
Bisherige Methoden zur audiovisuellen Segmentierung sagen hauptsächlich klangbezogene Bereiche oder Klassenmasken voraus und können oft nicht erkennen, welches Exemplar den Ton von sich gibt, wenn mehrere Kandidaten derselben Klasse vorhanden sind. Neuere Methoden zur audiovisuellen Instanzsegmentierung ermöglichen zwar Vorhersagen auf Instanzebene, stützen sich jedoch weitgehend auf Bewegungen und die Verknüpfung von Objekten über mehrere Videobilder hinweg. Bei spärlichen Beobachtungen oder kaum wahrnehmbaren Bewegungen kann dies unzuverlässig sein. Um dieses Problem anzugehen, führen wir binaurales Audio ein, dessen interaurale Unterschiede Informationen über die Richtung der Schallquelle enthalten. Diese liefern räumliche Hinweise, um das klingende Exemplar unter den visuellen Kandidaten derselben Klasse zu unterscheiden. Wir stellen die Methode „Binaural Sounding Instance Disambiguation for Audio-Visual Segmentation“ (BiSID-AVS) vor, die Reaktionen auf Kandidaten auf Klassenebene schrittweise zu einer Maske des tatsächlich klingenden Exemplars verfeinert. BiSID-AVS verankert zunächst mithilfe von Audio-Prompts kategoriekonsistente Kandidatenbereiche. Anschließend projiziert die Methode binaurale Hinweise in eine räumliche Reaktionskarte auf der Bildebene und verfeinert schließlich das tatsächlich klingende Exemplar durch räumliche Konditionierung auf zwei Ebenen: in den Merkmalen und im Decoder. Experimente mit dem um binaurales Audio erweiterten AVS-Synthetic-Benchmark und dem Habitat-AVS-Datensatz für die robotische Innenraumerfassung zeigen, dass BiSID-AVS bei Teilmengen mit mehreren Kandidaten die besten Ergebnisse erzielt. Dabei verbessert sich die instanzbasierte mittlere IoU um 35,19 beziehungsweise 41,21 Prozentpunkte, während zugleich Fehlaktivierungen in nicht klingenden Bereichen derselben Klasse deutlich reduziert werden.
HI-FI News
über Artificial Intelligence https://ift.tt/2Nny1DF
5. November 2026 um 06:47 Uhr
November 5, 2026 at 06:47AM
-
Product on sale
Audiophile Vinyl Records Cleaning BundleOriginal price was: €69.90.€59.90Current price is: €59.90. excl. VAT -
Product on sale
Easy Start Vinyl Records Cleaning KitOriginal price was: €69.90.€59.90Current price is: €59.90. excl. VAT -
Vinyl Records Cleaner Easy Groove Concentrate€34.95 excl. VAT -
Easy Groove Super Set€199.00 excl. VAT -
Easy Groove Enzycaster – vinyl records prewash cleaner€34.95 excl. VAT -
Easy Groove Extreme MK. II- vinyl records prewash cleaner€45.00 excl. VAT -
Vinyl Records Cleaner – Easy Groove Virgin Concentrate€35.00 excl. VAT -
Easy Groove Spray&Wipe vinyl records cleaner€34.95 excl. VAT








