基于深度循环神经网络将视频翻译为机器人操作指令
机器人学
2017-10-03 v1 计算机视觉与模式识别
摘要
我们提出了一种使用深度循环神经网络 (RNN) 将视频翻译为机器人操作指令的新方法。我们的框架首先利用深度卷积神经网络 (CNN) 从输入视频帧中提取深度特征。然后使用具有编码器-解码器架构的两个 RNN 层对视觉特征进行编码，并按顺序生成输出词作为指令。我们证明，通过允许两个 RNN 层之间的平滑过渡并使用最先进的特征提取器，可以提高翻译精度。在我们新构建的具有挑战性的数据集上的实验结果表明，我们的方法以明显优势优于近期的方法。此外，我们将所提出的翻译模块与视觉和规划系统相结合，使机器人能够执行各种操作任务。最后，我们在全尺寸人形机器人 WALK-MAN 上展示了我们框架的有效性。
引用
@article{arxiv.1710.00290,
title = {Translating Videos to Commands for Robotic Manipulation with Deep Recurrent Neural Networks},
author = {Anh Nguyen and Dimitrios Kanoulas and Luca Muratore and Darwin G. Caldwell and Nikos G. Tsagarakis},
journal= {arXiv preprint arXiv:1710.00290},
year = {2017}
}