利用互易性重振声场

在虚拟环境中实现沉浸式听觉体验需要灵活的声音建模，以支持动态声源位置。在本文中，我们引入了一项名为“重振”（resounding）的任务，旨在从一组稀疏的测量发射器位置估计任意发射器位置处的房间脉冲响应，类似于视觉中的重光照问题。我们利用互易性特性，并引入了Versa，一种受物理启发的促进声场学习的方法。我们的方法通过交换发射器和听筒姿态，创建具有密集虚拟发射器位置的物理有效样本。我们还识别了由于发射器/听筒增益模式而部署互易性所面临的挑战，并提出了一种自监督学习方法来解决这些问题。结果表明，Versa在模拟和真实世界数据集上，在不同指标下均显著提升了声场学习的性能。感知用户研究表明，Versa可以极大地改善沉浸式空间声音体验。代码、数据集和演示视频可在项目网站上获取：https://waves.seas.upenn.edu/projects/versa。