迈向深度强化学习的可扩展验证
机器学习
2021-08-16 v2 网络与互联网体系结构
最优化与控制
摘要
深度神经网络（DNNs）近年来获得了显著的普及，成为多个领域的最先进技术。特别地，深度强化学习（DRL）最近已被用于训练实现各类真实世界系统控制策略的 DNNs。在这项工作中，我们提出了 whiRL 2.0 工具，其实现了一种用于验证 DRL 系统复杂感兴趣属性的新方法。为展示 whiRL 2.0 的优势，我们将其应用于通信网络领域的案例研究，这些案例最近被用于激发 DRL 系统的形式化验证，并展现出有利于可扩展验证的特征。我们提出了在此类系统上执行 k-归纳与半自动不变量推断的技术，并利用这些技术证明了先前方法因可扩展性障碍而无法验证的安全性与活性性质。此外，我们展示了所提技术如何提供对 DRL 系统内部机制与泛化能力的洞察。whiRL 2.0 已在线公开可用。
引用
@article{arxiv.2105.11931,
title = {Towards Scalable Verification of Deep Reinforcement Learning},
author = {Guy Amir and Michael Schapira and Guy Katz},
journal= {arXiv preprint arXiv:2105.11931},
year = {2021}
}
备注
To appear in FMCAD 2021 (see https://fmcad.org/FMCAD21/)