Image2Reverb:跨模态混响脉冲响应合成
声音
2021-08-17 v2 计算机视觉与模式识别
机器学习
音频与语音处理
摘要
测量一个空间的声学特性通常通过捕获其脉冲响应(IR)来完成,IR 表示全频带激励声如何激发该空间。本工作从单幅图像生成 IR,然后可使用卷积将其应用于其他信号,以模拟图像中所显示空间的混响特性。记录这些 IR 既耗时又昂贵,且对于不可达位置往往不可行。我们使用端到端神经网络架构从声学环境的单幅图像生成可信的音频脉冲响应。我们通过与真值数据比较以及人类专家评估来评价我们的方法。我们通过从多样设置与格式(包括知名地点、音乐厅、绘画中的房间、动画与计算机游戏中的图像、由文本生成的合成环境、全景图像以及视频会议背景)生成可信的脉冲响应来展示我们的方法。
引用
@article{arxiv.2103.14201,
title = {Image2Reverb: Cross-Modal Reverb Impulse Response Synthesis},
author = {Nikhil Singh and Jeff Mentch and Jerry Ng and Matthew Beveridge and Iddo Drori},
journal= {arXiv preprint arXiv:2103.14201},
year = {2021}
}
备注
ICCV 2021. Project page: https://web.media.mit.edu/~nsingh1/image2reverb/