利用有损可供性实现泛化：基于广泛离线数据学习视觉运动任务

广泛数据集的利用已被证明对众多领域的泛化至关重要。然而，如何有效利用多样化的多任务数据应对新颖的下游任务，仍是机器人领域的一大挑战。为应对此挑战，我们引入了一个框架，该框架通过在广泛数据上的离线强化学习并结合在学习的有损表示空间中由子目标引导的在线微调，为未见过的时序扩展任务获取目标条件策略。当面对新颖任务目标时，框架使用可供性模型规划一系列有损表示作为子目标，将原始任务分解为更简单的问题。从广泛数据中学习得到的有损表示强调了关于状态和任务相关的信息，同时抽象掉阻碍泛化的冗余上下文。因此它支持未见任务的子目标规划，为策略提供紧凑输入，并在微调期间促进奖励塑造。我们展示了我们的框架可在先前工作的机器人经验大规模数据集上预训练，并高效微调用于新颖任务，完全基于视觉输入且无需任何手动奖励设计。