用于时序差分强化学习的自适应树备份算法

Q($\sigma$) 是近年来提出的一种时序差分学习方法，它在期望备份与采样备份之间进行插值。已有研究表明，插值参数 $\sigma \in [0,1]$ 的中间取值在实践中表现更好，因此通常认为 $\sigma$ 作为一种偏差-方差权衡参数来实现这些改进。在我们的工作中，我们反驳了这一观点，证明 $\sigma=0$ 的选择在最小化方差的同时不增加偏差。这表明 $\sigma$ 必然对学习有某种尚未被完全理解的其他影响。作为替代，我们假设存在一种新的权衡：较大的 $\sigma$ 值有助于克服价值函数的不良初始化，代价是更高的统计方差。为自动平衡这些考量，我们提出了自适应树备份（ATB）方法，其加权备份随着智能体获得经验而演化。我们的实验表明，自适应策略比依赖固定或时间退火 $\sigma$ 值更为有效。