空间音频运动理解与推理

空间音频推理使机器能够通过理解事件及其空间属性来解释听觉场景。本文聚焦于空间音频理解，特别强调对移动源的推理。首先，我们引入一种空间音频编码器，用于处理空间音频，检测多个重叠事件，并在帧级别估计其空间属性，包括来向角(DoA)和源距离。为实现对未见事件的泛化，我们采用音频 grounding 模型，通过跨注意力机制将音频特征与语义音频类别文本嵌入对齐。其次，为回答关于动态音频场景中移动源的复杂查询，我们将大型语言模型(LLM)置于由本模型提取的结构化空间属性之上。最后，我们引入一个空间音频运动理解与推理基准数据集，并展示了本框架相对于基线模型的性能。