RealImpact：真实物体冲击声场数据集
声音
2023-06-19 v1 计算机视觉与模式识别
图形学
音频与语音处理
摘要
物体在不同扰动、环境条件和相对于听者的姿态下发出独特声音。虽然先前工作在仿真中建模了冲击声与声音传播，我们缺乏用于音视觉学习和校准sim-to-real差距的真实物体冲击声场标准数据集。我们提出RealImpact，一个在受控条件下记录的大规模真实物体冲击声数据集。RealImpact包含50个日常物体的150,000条冲击声录音及详细标注，包括其冲击位置、麦克风位置、接触力剖面、材料标签和RGBD图像。我们初步尝试将我们的数据集作为当前仿真方法估计匹配真实世界的物体冲击声的参考。此外，我们通过评估包括听者位置分类和视觉声学匹配在内的两项基准任务，展示了我们的数据集作为声学与音视觉学习测试平台的用处。
关键词
引用
@article{arxiv.2306.09944,
title = {RealImpact: A Dataset of Impact Sound Fields for Real Objects},
author = {Samuel Clarke and Ruohan Gao and Mason Wang and Mark Rau and Julia Xu and Jui-Hsien Wang and Doug L. James and Jiajun Wu},
journal= {arXiv preprint arXiv:2306.09944},
year = {2023}
}
备注
CVPR 2023 (Highlight). Project page: https://samuelpclarke.com/realimpact/