用目标网络打破致命三元组

致命三元组（deadly triad）指的是当强化学习算法同时采用离策略学习、函数逼近和自助法（bootstrapping）时所出现的不稳定性。本文中，我们将目标网络作为一种打破致命三元组的工具加以研究，为“目标网络能稳定训练”这一传统认知提供理论支持。我们首先提出并分析了一种新颖的目标网络更新规则，该规则以常用的 Polyak 平均式更新为基础，增加了两次投影。随后，我们将目标网络与岭正则化应用于几种发散的算法中，并展示了它们向正则化 TD 不动点的收敛。这些算法均采用线性函数逼近与自助法的离策略形式，涵盖策略评估与控制，以及折扣与平均奖励设定。特别地，我们给出了在非限制且变化的行为策略下、无需双层优化的首个收敛线性 $Q$ 学习算法。