中层视觉表征提升视觉运动策略学习的泛化性与样本效率
计算机视觉与模式识别
2019-04-23 v3 人工智能
机器学习
神经与进化计算
机器人学
摘要
关于世界具备的视觉先验（例如世界是三维的）在多大程度上有助于学习执行下游运动任务（例如递送包裹）？我们通过将一套通用感知技能集（例如距离估计器、边缘检测器等）整合进强化学习框架来研究此问题——见图 1。该技能集（以下称中层感知）相较于原始图像为策略提供了更为加工的世界状态。我们发现，在面向导航的任务中，使用中层感知相比从零端到端训练（即不利用先验）具有显著优势。智能体能够泛化到从零方法失效的情形，且训练变得显著更具样本效率。然而，我们表明实现这些收益需要谨慎选择中层感知技能。因此，我们将发现提炼为一套高效最大覆盖特征集，可替代原始图像采用。我们在完全独立的建筑中分别进行训练与测试，并与视觉盲基线策略及最先进特征学习方法比较。
引用
@article{arxiv.1812.11971,
title = {Mid-Level Visual Representations Improve Generalization and Sample Efficiency for Learning Visuomotor Policies},
author = {Alexander Sax and Bradley Emi and Amir R. Zamir and Leonidas Guibas and Silvio Savarese and Jitendra Malik},
journal= {arXiv preprint arXiv:1812.11971},
year = {2019}
}
备注
See project website, demos, and code at http://perceptual.actor