(深度)强化学习中的连通上水平集及其在极小极大定理中的应用
机器学习
2023-10-03 v3 最优化与控制
摘要
本文旨在增进对强化学习中策略优化问题优化景观的理解。具体而言,我们证明了在表格设定下以及由一类神经网络表示的策略下,目标函数关于策略参数的上水平集始终是一个连通集。此外,我们证明了优化目标作为策略参数与奖励的函数满足更强的“等连通性”性质。据我们所知,这些是新颖且此前未知的发现有。我们给出了这些上水平集的连通性在推导鲁棒强化学习极小极大定理中的一个应用。我们表明,任何一侧凸而另一侧等连通的极小极大优化程序都满足极小极大等式(即具有纳什均衡)。我们发现,这一确切结构由对抗性奖励攻击下的一个有趣的鲁棒强化学习问题所展现,其极小极大等式的有效性随之立即成立。这是文献中首次建立此类结果。
引用
@article{arxiv.2303.12981,
title = {Connected Superlevel Set in (Deep) Reinforcement Learning and its Application to Minimax Theorems},
author = {Sihan Zeng and Thinh T. Doan and Justin Romberg},
journal= {arXiv preprint arXiv:2303.12981},
year = {2023}
}