端到端主动目标跟踪及其基于强化学习的真实世界部署
计算机视觉与模式识别
2019-02-14 v2
摘要
我们研究主动目标跟踪，其中跟踪器以视觉观测（即帧序列）为输入，并输出相应的相机控制信号（例如前进、左转等）。传统方法将跟踪与相机控制任务分开处理，所得系统难以联合调优。这些方法还需要大量人工进行图像标注，并在真实世界中进行昂贵的试错系统调优。为解决这些问题，本文提出一种基于深度强化学习的端到端方案。采用ConvNet-LSTM函数逼近器进行直接的帧到动作预测。我们进一步提出一种环境增强技术与定制的奖励函数，它们对成功训练至关重要。在模拟器（ViZDoom与Unreal Engine）中训练的跟踪器在未见过的物体运动路径、未见过的物体外观、未见过的背景以及干扰物体情形下展现出良好的泛化行为。该系统鲁棒，且能在偶尔丢失被跟踪目标后恢复跟踪。我们还发现，仅从模拟器获得的跟踪能力有可能迁移到真实世界场景。我们通过在VOT数据集上的实验以及使用所提在模拟中训练的主动跟踪器部署真实世界机器人，展示了此类迁移的成功实例。
引用
@article{arxiv.1808.03405,
title = {End-to-end Active Object Tracking and Its Real-world Deployment via Reinforcement Learning},
author = {Wenhan Luo and Peng Sun and Fangwei Zhong and Wei Liu and Tong Zhang and Yizhou Wang},
journal= {arXiv preprint arXiv:1808.03405},
year = {2019}
}
备注
To appear in Transactions on Pattern Analysis and Machine Intelligence. arXiv admin note: text overlap with arXiv:1705.10561