去相关双重 Q 学习

带有值函数近似的 Q 学习可能因过高估计偏差和不精确估计而性能不佳。具体而言，过高估计偏差源于对噪声估计取最大值算子，而利用后续状态的估计会进一步放大该偏差。受深度强化学习和双重 Q 学习近期进展的启发，我们提出了去相关双重 Q 学习（D2Q）。具体而言，我们引入去相关正则项以降低值函数近似器之间的相关性，从而能够实现偏差更小且方差更低的估计。在一系列 MuJoCo 连续控制任务上的实验结果表明，我们的去相关双重 Q 学习能有效提升性能。