Audio Flamingo Next: Next-Generation Open Audio-Language Models for Speech, Sound, and Music

音频Flamingo Next：面向语音、声音与音乐的下一代开放音频-语言模型

https://ift.tt/3KSh2q7

我们提出 Audio Flamingo Next（AF-Next），是在 Audio Flamingo 系列中的下一代、功能最强大的大规模音频-语言模型，旨在提升对语音、环境声音和音乐的理解与推理能力。与 Audio Flamingo 3 相比，AF-Next 的创新点包括：（i）更强的基础音频-语言模型，在多样化的音频理解任务上显著提升准确性；（ii）可扩展的策略，用于构建超过现有学术基准的大规模音频理解与推理数据；（iii）支持长且复杂的音频输入，最长可达 30 分钟；以及（iv）时间轴推理的新范式，Temporal Audio Chain-of-Thought，能将中间推理步骤明确锚定到长音频的时间戳上，实现细粒度的时间对齐和更好的可解释性。为实现这些能力，我们首先对 Audio Flamingo 3 进行了系统分析，确定音频理解与推理中的关键差距。随后我们策划并扩展了总计超过 100 万小时的大规模数据集，以解决这些局限，并扩展现有的 AudioSkills-XL、LongAudio-XL、AF-Think 及 AF-Chat 数据集。AF-Next 采用贯穿预训练、中期训练和后训练阶段的课程式策略进行训练。对 20 个音频理解与推理基准进行广泛实验，包括具有挑战性的长音频任务，结果显示 AF-Next 即使与同等规模的开放模型相比也具有较大优势，并在与更大规模开放权重和封闭模型的竞争中保持高度竞争力，甚至在某些情况下超越它们。除了基准性能，AF-Next 还展示出强大的现实世界实用性，并能很好地迁移到未见任务，凸显其鲁棒性和泛化能力。除了所有数据、代码与方法，我们还开源发布了 AF-Next 的 3 个变体，包括 AF-Next-Instruct、AF-Next-Think 和 AF-Next-Captioner。

HI-FI News

通过人工智能 https://ift.tt/OsDap2u

2026 年 4 月 14 日 05:27AM

April 14, 2026 at 05:27AM