APS：基于后继特征的活动预训练

我们为强化学习引入了一种新的无监督预训练目标。在无监督无奖励的预训练阶段，智能体最大化由策略诱导的任务与状态之间的互信息。我们的关键贡献是这一难解量的一个新的下界。我们表明，通过重新解释并将变分后继特征~\citep{Hansen2020Fast}与非参数熵最大化~\citep{liu2021behavior}相结合，该难解互信息可被高效优化。所提出的方法——基于后继特征的活动预训练（APS）——通过非参数熵最大化探索环境，且探索所得数据可被变分后继特征高效利用以学习行为。APS 解决了现有的基于互信息最大化和基于熵最大化的无监督 RL 的局限性，并兼取两者之长。在 Atari 100k 数据效率基准上评估时，我们的方法显著优于先前结合无监督预训练与任务特定微调的方法。