分解视觉机器人操作中模仿学习的泛化差距

是什么使得视觉机器人操作中的模仿学习泛化困难？这个问题表面上看难以入手，但从机器人的视角看，环境常可分解为可枚举的变异因素，如光照条件或相机放置位置。经验上，对某些因素的泛化比其他因素构成更大障碍，但现有工作很少阐明各因素对泛化差距的具体贡献程度。为回答该问题，我们在仿真和真实机器人语言条件操作任务中研究模仿学习策略，以量化对不同（组）因素泛化的难度。我们还设计了一个包含19个任务和11个变异因素的新仿真基准，以促进更可控的泛化评估。通过研究，我们确定了基于泛化难度的因素排序，该排序在仿真和真实机器人装置中一致。