面向基于像素控制的表征学习：什么重要以及为何重要？

近年来，在强化学习中学习用于基于像素控制的表征受到了显著关注。人们提出了多种方法以实现高效学习，使样本复杂度接近于全状态设定下的水平。然而，超越精心筛选的像素数据集（居中裁剪、适当光照、清晰背景等）仍然具有挑战性。本文采用一种更困难的设定，引入背景干扰因素，作为应对该挑战的第一步。我们提出一种简单基线方法，无需基于度量的学习、无需数据增强、无需世界模型学习、也无需对比学习，即可学习有意义的表征。我们随后分析了先前提出的方法在此更困难设定中何时以及为何可能失效或退化为与基线相同的性能，并探讨了为何应谨慎地将此类方法推广到精心构建的环境之外。我们的结果表明，依据奖励密度、问题规划时域、是否存在任务无关成分等特征对基准进行更细致的分类，对于算法评估至关重要。基于这些观察，我们提出了在基准任务上评估算法时需要考虑的不同指标。我们希望这种以数据为中心的视角能够激励研究者在探究如何将RL最佳地应用于真实世界任务时，重新思考表征学习。