DopplerBAS:面向多普勒效应的双耳音频合成
音频与语音处理
2023-06-02 v3
摘要
近年来,双耳音频合成(binaural audio synthesis, BAS)因其在增强现实与虚拟现实中的应用而成为一个有前景的研究领域。双耳音频通过向大脑提供反映空间信息的双耳时间差,帮助用户定位自身并建立沉浸感。然而,现有的 BAS 方法在相位估计方面存在局限,而相位估计对空间听觉至关重要。在本文中,我们提出 \textbf{DopplerBAS} 方法,以显式地处理运动声源的多普勒效应。具体而言,我们在球坐标中计算运动扬声器的径向相对速度,进而指导双耳音频的合成。这一简单方法不引入额外的超参数,也不修改损失函数,并且即插即用:它能很好地扩展到不同类型的骨干网络。DopplerBAS 在相位误差指标上明显改进了具代表性的 WarpNet 和 BinauralGrad 骨干网络,并达到了新的最优(state of the art, SOTA):0.780(对比当前 SOTA 0.807)。实验与消融研究证明了我们方法的有效性。
引用
@article{arxiv.2212.07000,
title = {DopplerBAS: Binaural Audio Synthesis Addressing Doppler Effect},
author = {Jinglin Liu and Zhenhui Ye and Qian Chen and Siqi Zheng and Wen Wang and Qinglin Zhang and Zhou Zhao},
journal= {arXiv preprint arXiv:2212.07000},
year = {2023}
}
备注
Accepted to ACL 2023 short paper; key words: binaural audio, stereophonic sound