材料条件下的逼真RIR生成
计算机视觉与模式识别
2026-04-24 v1 人工智能
声音
摘要
就像黄金的铿锵声，木头的闷响！我们听到的声音不仅受场景空间布局的影响，还受其中对象和表面材料的影响。例如，墙面为木材的房间与保持相同空间布局但墙面为混凝土的房间会产生不同的声学体验。准确建模这些效应对于虚拟现实、机器人、建筑设计和音频工程等应用至关重要。然而，现有的声学建模方法常将空间和材料影响捆绑在相关表示中，这限制了用户控制，降低了生成声学的真实性。在本工作中，我们提出了一种材料控制的房间脉冲响应（RIR）生成方法，通过显式解耦场景中空间和材料线索的作用，实现了材料条件下的RIR生成。我们的模型由两个模块构成：一个捕获场景空间布局影响的空间模块，一个根据用户指定的材料配置调制该空间RIR的材料模块。这种显式解耦的设计允许用户轻松修改场景的材料配置，而无需改变空间结构或场景内容，即可观察其对声学的影响。我们的方法在基于声学的指标（在RTE上提升最高可达16%）和基于材料的指标（提升最高可达70%）上均显著优于先前方法。此外，通过人类感知研究，我们证明了我们模型在真实性和材料灵敏度方面优于最强的基线。
引用
@article{arxiv.2604.21119,
title = {Materialistic RIR: Material Conditioned Realistic RIR Generation},
author = {Mahnoor Fatima Saad and Sagnik Majumder and Kristen Grauman and Ziad Al-Halah},
journal= {arXiv preprint arXiv:2604.21119},
year = {2026}
}
备注
Accepted to CVPR 2026 Findings. Project page: https://mahnoor-fatima-saad.github.io/MatRIR.html