嗖！咔啦！咚！——发出声音的动作
机器人学
2020-07-06 v1 计算机视觉与模式识别
机器学习
摘要
真正智能的代理需要捕捉所有感官的相互作用，以构建对其世界的丰富物理理解。在机器人学中，我们在视觉与触觉感知利用上已取得巨大进展；然而常忽略了一个关键感官：声音。这主要源于缺乏捕捉动作与声音相互作用的数据。本工作中，我们首次大规模研究声音与机器人动作之间的交互。为此，我们利用机器人平台 Tilt-Bot 创建了现有最大的声音-动作-视觉数据集，包含对 60 个物体的 15,000 次交互。通过倾斜物体使其撞向机器人托盘壁，我们收集了丰富的四通道音频信息。利用该数据，我们探索声音与动作的协同并给出三点关键洞见。第一，声音能指示细粒度物体类别信息，例如可区分金属螺丝刀与金属扳手。第二，声音还包含动作因果效应的信息，即给定发出的声音，可预测施加于物体的动作。最后，由音频嵌入导出的物体表征能指示隐式物理属性。我们证明，对未见过的物体，通过交互生成的音频嵌入比被动视觉嵌入在预测前向模型上高出 24%。项目视频与数据见 https://dhiraj100892.github.io/swoosh/
引用
@article{arxiv.2007.01851,
title = {Swoosh! Rattle! Thump! -- Actions that Sound},
author = {Dhiraj Gandhi and Abhinav Gupta and Lerrel Pinto},
journal= {arXiv preprint arXiv:2007.01851},
year = {2020}
}
备注
To be presented at Robotics: Science and Systems 2020