一种面向深度强化学习智能体的基于搜索的测试方法
软件工程
2023-08-08 v4 人工智能
机器学习
摘要
过去十年间，深度强化学习（DRL）算法日益被用于解决自动驾驶与机器人等各类决策问题。然而，这些算法在部署于安全关键环境时面临巨大挑战，因为它们常表现出可能导致潜在严重错误的异常行为。评估DRL智能体安全性的一种方式是测试它们，以检测执行期间可能导致严重故障的潜在缺陷。这就提出了我们如何高效测试DRL策略以确保其正确性与对安全需求的遵从的问题。现有大多数DRL智能体测试工作使用扰动智能体状态或动作的对抗攻击，但此类攻击常导致不真实的环境状态，其主要目标是测试DRL智能体的鲁棒性，而非测试智能体策略对需求的符合性。由于DRL环境的状态空间巨大、测试执行成本高以及DRL算法的黑盒性质，对DRL智能体的穷举测试是不可能的。本文提出一种基于搜索的强化学习智能体测试方法（STARLA），通过在有限测试预算内有效搜索智能体的失败执行来测试DRL智能体的策略。我们使用机器学习模型与专用遗传算法将搜索收窄至故障片段。我们将STARLA应用于广泛用作基准的Deep-Q-Learning智能体，表明其通过检测更多与智能体策略相关的故障而显著优于随机测试。我们还研究如何利用搜索结果提取表征DRL智能体故障片段的规则，此类规则可用于理解智能体失败的条件，从而评估其部署风险。
引用
@article{arxiv.2206.07813,
title = {A Search-Based Testing Approach for Deep Reinforcement Learning Agents},
author = {Amirhossein Zolfagharian and Manel Abdellatif and Lionel Briand and Mojtaba Bagherzadeh and Ramesh S},
journal= {arXiv preprint arXiv:2206.07813},
year = {2023}
}