Real Acoustic Fields：视听房间声学数据集与基准测试
声音
2024-03-28 v1 计算机视觉与模式识别
多媒体
音频与语音处理
摘要
我们提出了一个名为 Real Acoustic Fields (RAF) 的新数据集，该数据集从多种模态捕捉真实房间声学数据。该数据集包含高质量且密集捕捉的房间脉冲响应数据，并配有多视图图像以及房间内声音发射器和接收器的精确 6DoF 位姿跟踪数据。我们使用该数据集评估了新视角声学合成和脉冲响应生成的现有方法，这些方法此前依赖于合成数据。在我们的评估中，我们根据多个标准全面评估了现有的音频和视听模型，并提出了增强其在真实世界数据上性能的设置。我们还进行了实验，研究将视觉数据（即图像和深度）纳入神经声学场模型的影响。此外，我们展示了一种简单的 sim2real 方法的有效性，即使用模拟数据预训练模型并使用稀疏真实世界数据进行微调，从而在 few-shot 学习方法中取得显著改进。RAF 是第一个提供密集捕捉房间声学数据的数据集，这使其成为从事音频和视听神经声学场建模技术的研究人员的理想资源。演示和数据集可在我们的项目页面获取：https://facebookresearch.github.io/real-acoustic-fields/
引用
@article{arxiv.2403.18821,
title = {Real Acoustic Fields: An Audio-Visual Room Acoustics Dataset and Benchmark},
author = {Ziyang Chen and Israel D. Gebru and Christian Richardt and Anurag Kumar and William Laney and Andrew Owens and Alexander Richard},
journal= {arXiv preprint arXiv:2403.18821},
year = {2024}
}
备注
Accepted to CVPR 2024. Project site: https://facebookresearch.github.io/real-acoustic-fields/