Boombox：基于声学振动的视觉重建
计算机视觉与模式识别
2021-10-26 v2 多媒体
机器人学
声音
音频与语音处理
摘要
与箱体和容器交互是机器人学中的一项基本任务，使得对箱内物体的状态估计至关重要。尽管机器人常使用相机进行状态估计，但由于遮挡和光照不足，视觉模态并非总是理想。我们提出了 The Boombox，一种利用声音估计盒内物体状态的容器。基于物体与其容器碰撞会引起声学振动这一观察，我们提出了一个卷积网络用于学习重建视觉场景。尽管我们使用低成本、低功耗的接触式麦克风来检测振动，但我们的结果表明，从多模态数据中学习能够实现基于廉价音频传感器的状态估计。由于机器人使用容器的场景众多，我们相信该盒子在机器人学中有许多应用。我们的项目网站位于：boombox.cs.columbia.edu
引用
@article{arxiv.2105.08052,
title = {The Boombox: Visual Reconstruction from Acoustic Vibrations},
author = {Boyuan Chen and Mia Chiquier and Hod Lipson and Carl Vondrick},
journal= {arXiv preprint arXiv:2105.08052},
year = {2021}
}
备注
CoRL 2021. Website: boombox.cs.columbia.edu