面向观察学习的语言注意力聚焦系统
机器人学
2021-03-25 v4 人机交互
摘要
观察学习（learning-from-observation, LfO）框架旨在将人类示范映射至机器人以减小编程负担。为此，LfO 系统将人类示范编码为一系列供机器人执行的单元，称为任务模型。尽管已有研究提出成功的任务模型编码器，但关于如何在含时空噪声（如杂乱物体或无关人体运动）的场景中引导任务模型编码器的讨论甚少。受语言指令引导观察者视觉注意功能的启发，我们提出一种语言注意力聚焦（verbal focus-of-attention, FoA）系统（即时空滤波器）来引导任务模型编码器。对于物体操作，系统首先从语言指令中识别目标物体名称及其属性。该信息作为“何处看”的 FoA 滤波器，限定示范中目标物体存在的区域。系统随后检测在滤波区域内发生的抓取与释放时机。这些时机作为“何时看”的 FoA 滤波器，限定物体操作的时间段。最后，任务模型编码器利用 FoA 滤波器识别任务模型。我们通过与现有动作定位网络对比，展示了语言 FoA 在抑制时空噪声上的鲁棒性。本研究的贡献如下：（1）提出面向 LfO 的语言 FoA；（2）设计从语言输入计算 FoA 滤波器的算法；（3）通过与最先进视觉系统对比，展示语言 FoA 在动作定位中的有效性。
引用
@article{arxiv.2007.08705,
title = {Verbal Focus-of-Attention System for Learning-from-Observation},
author = {Naoki Wake and Iori Yanokura and Kazuhiro Sasabuchi and Katsushi Ikeuchi},
journal= {arXiv preprint arXiv:2007.08705},
year = {2021}
}
备注
8 pages, 7 figures. Submitted to and accepted by IEEE ICRA 2021. Last updated March 3rd, 2021