学习神经声场
声音
2023-01-18 v2 计算机视觉与模式识别
机器学习
机器人学
音频与语音处理
摘要
我们的环境充满了丰富而动态的声学信息。当我们走进一座大教堂时，混响与外观一样向我们表明圣殿的宽敞空间。类似地，当物体绕我们移动时，我们预期其发出的声音也会呈现这种运动。尽管近期习得隐式函数的进展带来了视觉世界表征质量的不断提升，但在学习空间听觉表征方面尚未取得相应进展。为弥补这一差距，我们提出神经声场（NAFs），一种捕捉声音在物理场景中如何传播的隐式表征。通过将场景中的声传播建模为线性时不变系统，NAFs 学习将所有发射器与听者位置对连续映射到一个神经冲激响应函数，该函数可应用于任意声音。我们证明 NAFs 的连续性使我们能够为任意位置的听者渲染空间声学，并可预测新位置处的声音传播。我们进一步表明，NAFs 学习到的表征有助于改进基于稀疏视角的视觉学习。最后，我们展示了在 NAFs 学习过程中会浮现出蕴含场景结构信息的表征。
引用
@article{arxiv.2204.00628,
title = {Learning Neural Acoustic Fields},
author = {Andrew Luo and Yilun Du and Michael J. Tarr and Joshua B. Tenenbaum and Antonio Torralba and Chuang Gan},
journal= {arXiv preprint arXiv:2204.00628},
year = {2023}
}
备注
NeurIPS 2022. Project page: https://www.andrew.cmu.edu/user/afluo/Neural_Acoustic_Fields/