面向单智能体与多智能体强化学习的循环神经网络概率验证

由循环神经网络（RNN）诱导的依赖历史的策略依赖于潜在隐藏状态动态，使得部分可观测强化学习（RL）中的验证具有挑战性。现有的RNN验证工具通常依赖于严格的建模假设或对隐藏状态空间的粗略过近似，这可能导致过于保守或无定论的结果。我们提出了$\textbf{RNN}$ $\textbf{Pro}$babilistic $\textbf{Ve}$rification（$\texttt{RNN-ProVe}$），一个概率框架，用于$\textit{估计}$基于RNN的策略中不良行为的$\textit{可能性}$。$\texttt{RNN-ProVe}$使用策略驱动的采样来近似在已训练策略下可行的隐藏状态集合，并推导出统计误差界限，以产生有界误差、高置信度的行为违规估计。在部分可观测单智能体和协作多智能体任务上的实验表明，与现有工具相比，$\texttt{RNN-ProVe}$提供了更具定量性、感知可行性的概率保证，同时可扩展至循环和多智能体环境。