注意！——通过任务聚焦注意力增强深度视觉运动策略的鲁棒性
机器人学
2018-11-30 v2 人工智能
机器学习
摘要
近来的若干研究展示了深度视觉运动策略在机器人操纵器控制中的前景。尽管取得了令人印象深刻的进展，这些系统已知易受物理扰动的影响，例如意外或对抗性的碰撞导致它们掉落被操纵的物体。它们也往往被视觉扰动分散注意力，例如物体在该机器人视野中移动，即便该扰动并未在物理上阻止任务执行。本文中，我们提出一种方法，用任务聚焦视觉注意力（Task Focused visual Attention, TFA）来增强通过示教训练得到的深度视觉运动策略。操纵任务由自然语言文本指定，例如“将红碗移到左边”。这使得视觉注意力组件能够集中于机器人当前需要操纵的物体。我们表明即使在良性环境中，TFA 也使得该策略持续优于无注意力机制的变体。更重要的是，新策略显著更具鲁棒性：它经常从严重的物理扰动（例如导致其掉落物体的碰撞）中恢复，而基线策略即无视觉注意力的策略几乎从不恢复。此外，我们展示所提出的策略在广泛类别的视觉扰动存在下正确执行，表现出类似于人类选择性视觉注意力实验的行为。我们提出的方法由一个 VAE-GAN 网络组成，该网络编码视觉输入并将其馈送至移动机器人关节的运动网络。同时，我们的方法得益于一个用于 TFA 的教师网络，其利用文本输入指令使视觉编码器对各种类型的扰动具有鲁棒性。
引用
@article{arxiv.1809.10093,
title = {Pay attention! - Robustifying a Deep Visuomotor Policy through Task-Focused Attention},
author = {Pooya Abolghasemi and Amir Mazaheri and Mubarak Shah and Ladislau Bölöni},
journal= {arXiv preprint arXiv:1809.10093},
year = {2018}
}