静默中的结构：从环境声中学习场景结构
声音
2021-11-11 v1 计算机视觉与模式识别
多媒体
机器人学
音频与语音处理
摘要
从旋转的天花板风扇到滴答作响的时钟，我们听到的声音随着在场景中移动而微妙变化。我们探究这些环境声是否传达了关于 3D 场景结构的信息，如果是，它们是否为多模态模型提供了有用的学习信号。为此，我们收集了来自多种安静室内场景的音频与 RGB-D 配对录制数据集。随后我们训练了仅以音频为输入来估计到附近墙壁距离的模型。我们还利用这些录制数据通过自监督学习多模态表示，训练网络将图像与其对应声音相关联。这些结果表明环境声传达了关于场景结构的惊人数量的信息，并且它是学习多模态特征的有用信号。
引用
@article{arxiv.2111.05846,
title = {Structure from Silence: Learning Scene Structure from Ambient Sound},
author = {Ziyang Chen and Xixi Hu and Andrew Owens},
journal= {arXiv preprint arXiv:2111.05846},
year = {2021}
}
备注
Accepted to CoRL 2021 (Oral Presentation)