哪些特征最适合后继特征？

在强化学习中，通用后继特征（SFs）是一种在测试时为新任务提供零样本适应的方法：它们为位于一组基础特征线性张成内的所有下游奖励函数提供最优策略。但目前尚不清楚什么构成了一组良好的基础特征，能够用于超出其线性张成的广泛下游任务。已有论证指出拉普拉斯特征函数（$\Delta+\Delta^\ast$ 的特征函数，其中 $\Delta$ 为某参考策略的拉普拉斯算子，$\Delta^\ast$ 为时间逆转动力学的拉普拉斯算子）发挥了作用，并展现出良好的实证性能。在这里，我们首次基于下游性能的客观标准，以非同义反复的方式，在不假设下游任务与特征呈线性的情况下，确定了最优的基础特征。我们针对三类通用下游任务进行了这一工作：到达随机目标状态、密集随机高斯奖励，以及随机“散射”稀疏奖励。结果表明，产生最优预期下游性能的特征对于这三个任务族是\emph{相同的}。它们通常不与拉普拉斯特征函数重合，尽管它们可以从 $\Delta$ 表达：在最简单的情况下（确定性环境且衰减因子 $\gamma$ 接近 $1$），它们是 $\Delta^{-1}+(\Delta^{-1})^\ast$ 的特征函数。我们在相对于参考策略存在大行为克隆正则化的假设下获得了这些结果，这是离线强化学习中常用的设定。在此过程中，我们对 KL 正则化\option{natural} 策略梯度以及 Bellman 间隙范式中缺乏 SF 信息获得了新的见解。