用随机延迟微分方程逼近深度Q网络
机器学习
2025-05-02 v1 概率论
摘要
尽管深度Q网络（DQN）为强化学习带来了重大突破，但其理论分析仍然有限。本文基于 DQN 算法构建了一个随机延迟微分方程（SDDE），并估计了它们之间的 Wasserstein-1 距离。我们给出了该距离的一个上界，并证明了当步长趋于零时，两者之间的距离收敛于零。这一结果使我们能够从连续系统的角度理解 DQN 的两个关键技术：经验回放和目标网络。具体而言，方程中的延迟项对应于目标网络，有助于系统的稳定性。我们的方法利用精细化的 Lindeberg 原理和算子比较来建立这些结果。
引用
@article{arxiv.2505.00382,
title = {Approximation to Deep Q-Network by Stochastic Delay Differential Equations},
author = {Jianya Lu and Yingjun Mo},
journal= {arXiv preprint arXiv:2505.00382},
year = {2025}
}