MEAN-RIR：面向鲁棒房间脉冲响应估计的多模态环境感知网络
音频与语音处理
2025-09-08 v1 声音
摘要
本文提出了一种多模态环境感知网络（MEAN-RIR），采用编码器-解码器框架，基于来自音频、视觉和文本源的多级环境信息预测房间脉冲响应（RIR）。具体而言，捕获房间声学特性的混响语音作为主要输入，与全景图像和文本描述作为补充输入。每个输入由其各自的编码器处理，输出被馈入交叉注意力模块以实现不同模态之间的有效交互。MEAN-RIR解码器生成两个不同的组件：第一个组件捕获直达声和早期反射，第二个组件产生调制可学习滤波噪声的掩码以合成晚期混响。这两个组件混合以重建最终的RIR。结果表明，MEAN-RIR显著改善了RIR估计，在声学参数方面获得了显著提升。
引用
@article{arxiv.2509.05205,
title = {MEAN-RIR: Multi-Modal Environment-Aware Network for Robust Room Impulse Response Estimation},
author = {Jiajian Chen and Jiakang Chen and Hang Chen and Qing Wang and Yu Gao and Jun Du},
journal= {arXiv preprint arXiv:2509.05205},
year = {2025}
}
备注
Accepted by ASRU 2025