环境声学的少样本视听学习
声音
2022-11-28 v2 计算机视觉与模式识别
机器学习
音频与语音处理
摘要
房间脉冲响应 (RIR) 函数刻画了周围物理环境如何改变听者所听到声音的方式，对 AR、VR 和机器人等领域的多种应用具有重要意义。传统估计 RIR 的方法假设环境中遍布密集的几何和/或声音测量，而我们探索如何基于空间中观测到的一组稀疏图像与回声来推断 RIR。为此，我们引入了一种基于 transformer 的方法，利用自注意力构建丰富的声学上下文，然后通过交叉注意力预测任意查询声源-接收者位置的 RIR。此外，我们设计了一种新颖的训练目标，以改善 RIR 预测与目标之间声学特征的一致性。在使用最先进的 3D 环境视听模拟器的实验中，我们证明我们的方法能成功生成任意 RIR，优于最先进的方法，并且——与传统方法大相径庭——以少样本方式泛化到新环境。项目：http://vision.cs.utexas.edu/projects/fs_rir。
引用
@article{arxiv.2206.04006,
title = {Few-Shot Audio-Visual Learning of Environment Acoustics},
author = {Sagnik Majumder and Changan Chen and Ziad Al-Halah and Kristen Grauman},
journal= {arXiv preprint arXiv:2206.04006},
year = {2022}
}
备注
Accepted to NeurIPS 2022