基于代理模型的深度强化学习智能体测试
软件工程
2024-07-15 v2 人工智能
机器学习
摘要
深度强化学习（DRL）近年来受到研究界的广泛关注。随着该技术从游戏转向自动驾驶与机器人等实际场景，评估 DRL 智能体的质量至关重要。本文提出一种基于搜索的方法来测试此类智能体。我们的方法在名为 Indago 的工具中实现，在 DRL 训练过程产生的失败与非失败环境（即通过）配置上训练一个分类器。该分类器在测试时用作 DRL 智能体在环境中执行的代理模型，预测给定环境配置在多大程度上引发被测 DRL 智能体的失败。失败预测充当适应度函数，引导生成指向失败环境配置，同时通过将 DRL 智能体在环境中的执行推迟到更可能暴露失败的配置来节省计算时间。实验结果表明，我们的基于搜索的方法比最先进技术多发现 50% 的 DRL 智能体失败。此外，这些失败平均多样性高出 78%；类似地，由失败配置引发的 DRL 智能体行为多样性高出 74%。
引用
@article{arxiv.2305.12751,
title = {Testing of Deep Reinforcement Learning Agents with Surrogate Models},
author = {Matteo Biagiola and Paolo Tonella},
journal= {arXiv preprint arXiv:2305.12751},
year = {2024}
}