基于丰富感官输入的液体倾倒监测
计算机视觉与模式识别
2018-08-07 v1
摘要
人类拥有惊人的能力，可使用具有不精确机械结构（即我们的身体部位）但丰富感官信息（如视觉、触觉等）的闭环控制系统来执行非常细微的操作任务。在闭环系统中，通过丰富感官信息监测任务状态的能力很重要但往往研究较少。本工作中，我们以液体倾倒为具体示例，旨在学习通过丰富感官输入连续监测液体倾倒是否成功（如未溢出）。我们使用胸戴相机与腕戴 IMU 传感器的同步观测来模仿人类的丰富感官。给定许多液体倾倒的成功与失败演示，我们训练了一个带后期融合的分层 LSTM 用于监测。为提高系统鲁棒性，我们在训练中提出两个辅助任务：推断（1）容器的初始状态与（2）通过对抗训练过程预测手的一步未来 3D 轨迹。这些任务促使我们的方法学习对容器状态及物体在 3D 中如何被操控敏感的表示。借助这些新组件，我们的方法在未见容器与未见用户上分别比无辅助任务的基线方法取得了约 8% 和约 11% 更高的监测准确率。
引用
@article{arxiv.1808.01725,
title = {Liquid Pouring Monitoring via Rich Sensory Inputs},
author = {Tz-Ying Wu and Juan-Ting Lin and Tsun-Hsuang Wang and Chan-Wei Hu and Juan Carlos Niebles and Min Sun},
journal= {arXiv preprint arXiv:1808.01725},
year = {2018}
}