Beyond Monologue: Interactive Talking-Listening Avatar Generation with Conversational Audio Context-Aware Kernels

超越独白：具对话音频上下文感知核的交互式说话-听取头像生成
https://ift.tt/AtawF1X

基于音频的人类视频生成在独白场景中已取得显著成功，主要得力于强大的视频生成基础模型的进步。超越独白，真实的人类沟通本质上是一个全双工的互动过程，不仅需要虚拟代理表达自己的语音，还需对传入的对话音频作出自然反应。大多数现有方法只是简单地将传统的基于音频的范式扩展到听取场景。然而，依赖严格的逐帧对齐会使模型对长期对话动态的响应变得僵硬，而直接引入全局注意力则会灾难性地降低口型同步。认识到说话与听取行为之间在时间尺度上的独特差异，我们引入多头高斯核，将这一物理直觉显式注入模型，作为渐进的时间归纳偏置。基于此，我们构建了一个全双工交互式虚拟代理，能够同时处理用于说话和听取的双流音频输入。此外，我们引入了经过严格清理的“说话-听取”数据集 VoxHear，其中语音和背景音轨实现完美解耦。大量实验表明，我们的方法能够将强时序对齐与深层上下文语义成功融合，创建出高度自然且响应迅速的全双工互动数字人，刷新了生成极其自然和具有响应性的全双工互动数字人新状态。项目页面可在 https://warmcongee.github.io/beyond-monologue/ 查看。

HI-FI News
通过人工智能 https://ift.tt/OsDap2u

2026年4月14日 05:27AM

April 14, 2026 at 05:27AM