OmniReasoning: Pushing the Limits of Audio-Visual Joint Reasoning

OmniReasoning: Die Grenzen des audio-visuellen gemeinsamen Denkens erweitern

https://ift.tt/b8VuGwC

Jüngste Fortschritte ermöglichen einheitliche Omni-Modal-Modelle im Verstehen von Audio, Vision und Sprache. Allerdings behandeln bestehende Benchmarks, Trainingsdaten und Lernmethoden die Modalitäten weitgehend unabhängig, wodurch die Fähigkeit zum audio-visuellen gemeinsamen Denken schlecht bewertet und unzureichend abgerufen wird. Wir schließen diese Lücke mit einem Benchmark, einer Daten-Engine und einer Lernmethode. Erstens führen wir OmniReasoningBench ein, einen Benchmark, bei dem sowohl Audio- als auch visuelle Beweise unverzichtbar sind. Er umfasst 1.150 Mehrfachauswahl- und offene Fragen über zwei Aufgaben: reasoning over video und reasoning beyond video. Zweitens entwickeln wir eine Daten-Engine OmniQA. Sie konstruieren automatisch evidenzbasierte QA-Paare, die ausdrücklich audio-visuelles Joint-Reasoning erfordern, zusammen mit zeitgestempelten Hinweisfolgen, die die Annotation des Denkprozesses leiten. Neben unserem Benchmark produziert diese Engine Trainingsdaten OmniReasoning-SFT-112K und OmniReasoning-RL-19K. Schließlich schlagen wir eine on-policy Selbst-Distillation-Methode vor, Modality-Factored Self-Distillation (MFSD). Sie bewertet jede abgewogene Antwort unter Modalitäts-spezifischen Hinweis-Kontexten, entkoppelt die Beiträge einzelner Hinweise und deren bereichsübergreifende Interaktionen für die Zuteilung von Token-Einfluss. Mit unseren Trainingsdaten und unserer Lernmethode erreicht unser Modell OmniReasoning-30B-A3B 50,0 % auf OmniVideoBench und 42,5 % auf OmniReasoningBench, wodurch sich das Basis-Modell Qwen3-Omni-30B-A3B-Thinking um 12,8 bzw. 9,3 Prozentpunkte verbessert. Außerdem erzielt es deutliche Zugewinne bei allgemeinen und Langvideo-Benchmarks, einschließlich Video-MME-v2. Wir hoffen, dass unsere Arbeit einen soliden Schritt darstellt, um zukünftige Forschungen im Bereich des omni-modalen gemeinschaftlichen Denkens zu erleichtern.

HI-FI News

via Takara TLDR – Daily AI Papers https://tldr.takara.ai

4. Oktober 2026 um 02:32 Uhr

October 4, 2026 at 02:32AM