具有两层神经网络参数化的自然行动者-评论者算法的全局收敛性研究

行动者-评论者算法在解决最先进的决策问题方面已展现出显著成功。然而,尽管其实证效果良好,其理论基础仍相对未被充分探索,尤其是在采用神经网络参数化的情况下。在本文中,我们深入研究了利用神经网络表示评论者的自然行动者-评论者算法。我们的目标是为该算法建立样本复杂度保证,从而更深入地理解其性能特征。为此,我们提出了一种具有两层评论者参数化(NAC2L)的自然行动者-评论者算法。我们的方法在每次迭代中通过一个凸优化问题来估计$Q$函数。我们证明所提出的方法达到了$\tilde{\mathcal{O}}\left(\frac{1}{\epsilon^{4}(1-\gamma)^{4}}\right)$的样本复杂度。相比之下,文献中现有的样本复杂度结果仅适用于表格型或线性MDP。而我们的结果适用于可数状态空间,且不需要MDP具有线性或低秩结构。