用于自动驾驶系统在线测试的强化学习：一项复现与扩展研究
软件工程
2024-03-21 v1 人工智能
机器学习
机器人学
摘要
在最近的一项研究中，强化学习 (RL) 与多目标搜索结合使用，已被证明在深度神经网络驱动系统的在线测试中优于替代技术（随机搜索和多目标搜索）。这些技术的实证评估是在一个最先进的自动驾驶系统 (ADS) 上进行的。本工作是对该实证研究的复现与扩展。我们的复现表明，在与原始研究相同设置下进行的比较中，若排除碰撞测量方式带来的混杂因素，RL 并不优于纯随机测试生成。我们的扩展旨在消除在复现中观察到的 RL 性能不佳的可能原因：(1) 存在为 RL 智能体提供对比性或无用反馈的奖励分量；(2) 使用了需要对本质连续的状态空间进行离散化的 RL 算法（Q-learning）。结果表明，我们新的 RL 智能体能够收敛到一个有效的策略，其性能优于随机测试。结果还突显了其他可能的改进，为进一步研究如何最好地利用 RL 进行在线 ADS 测试开辟了方向。
引用
@article{arxiv.2403.13729,
title = {Reinforcement Learning for Online Testing of Autonomous Driving Systems: a Replication and Extension Study},
author = {Luca Giamattei and Matteo Biagiola and Roberto Pietrantuono and Stefano Russo and Paolo Tonella},
journal= {arXiv preprint arXiv:2403.13729},
year = {2024}
}