基于 FBSDE 系统的深度 Q 学习通用逼近定理

深度 Q 网络 (DQN) 的逼近能力通常通过不利用最优 Q 函数内在结构属性——即 Bellman 方程解的通用逼近定理来论证。本文建立了一个针对架构设计用于模拟 Bellman 更新中固有迭代细化过程的 DQN 类通用逼近定理。我们的分析核心在于正则性传播：虽然单个 Bellman 算子作用产生的变换具有正则性，而 Backward Stochastic Differential Equations (BSDEs) 理论提供了分析工具，但整个价值迭代序列的一致正则性——具体而言，在问题数据满足标准 Lipschitz 条件下，对紧致域的一致 Lipschitz 连续性——源自有限时长动态编程原理。我们展示，深度残余网络的层（构思为作用于函数空间的神经算子）可以逼近 Bellman 算子的作用。 resulting approximation theorem thus intrinsically linked to the control problem's structure, offering a proof technique wherein network depth directly corresponds to iterations of value function refinement, accompanied by controlled error propagation. This perspective reveals a dynamic systems view of the network's operation on a space of value functions.