听起来会怎样？室内场景中材料控制的多模态声学轮廓生成

如果铺上地毯地板并在墙壁安装吸声瓦，工作室的声音会发生怎样的变化？我们引入了材料控制的声学轮廓生成任务，即在给定具有特定视听特征的室内场景时，目标是基于用户在推理时定义的材料配置生成目标声学轮廓。我们采用一种新颖的编码器-解码器方法来解决该任务，该方法从视听观测中编码场景的关键属性，并根据用户提供的材料规格生成目标房间脉冲响应 (RIR)。我们的模型能够基于推理时动态定义的各种材料配置生成多样化的 RIR。为了支持该任务，我们创建了一个新的基准测试——Acoustic Wonderland 数据集，旨在多样且具有挑战性的设置下开发与评估材料感知的 RIR 预测方法。我们的结果表明，所提出的模型有效地编码了材料信息并生成了高保真 RIR，优于多个基线方法和 SOTA 方法。