通过一次性组合子目标泛化至新任务

以极少甚至无需监督的方式泛化到此前未见过的任务，是现代机器学习研究中的一项关键挑战，也是未来“通用人工智能”的基石。任何部署于真实世界应用中的人工智能体，都必须能够即时适应未知环境。研究者常依赖强化学习与模仿学习，通过试错学习来提供对新任务的在线适应。然而，对于需要许多时间步或大量子任务才能完成的复杂任务，这颇具挑战。这些“长视野”任务存在样本效率低的问题，并且可能需要极长的训练时间，智能体才能学会进行必要的长期规划。在本工作中，我们提出 CASE，试图通过使用自适应“近未来”子目标训练模仿学习智能体来解决这些问题。这些子目标在每一步利用所学潜在表示空间中的组合算术重新计算。除了提升标准长期任务的学习效率外，该方法还能在仅给定任务在另一环境中的单条参考轨迹时，对未见任务进行一次性泛化。我们的实验表明，所提方法在性能上始终比此前最先进的组合模仿学习方法高出 30%。