基于抽象域的学习：强化学习中可验证保证的新方法
人工智能
2021-06-15 v1
摘要
由于系统行为的动态连续性和嵌入式神经网络的黑盒特性，形式化验证深度强化学习（DRL）系统是一项具有挑战性的任务。在本文中，我们提出了一种新颖的基于抽象的方法，在有限的抽象域而非具体系统状态上训练 DRL 系统。该方法生成的神经网络其输入状态是有限的，使得所承载的 DRL 系统可直接使用模型检测技术进行验证。我们的方法与现有的 DRL 算法和现成的模型检测器正交。我们实现了一个由此产生的原型训练与验证框架，并在最先进的基准上进行了广泛的实验。结果表明，以我们的方法训练的系统可被更高效地验证，同时保持与无抽象训练系统相当的性能。
引用
@article{arxiv.2106.06931,
title = {Learning on Abstract Domains: A New Approach for Verifiable Guarantee in Reinforcement Learning},
author = {Peng Jin and Min Zhang and Jianwen Li and Li Han and Xuejun Wen},
journal= {arXiv preprint arXiv:2106.06931},
year = {2021}
}
备注
14 pages, 7 figures