用于 DNN 赋能系统在线测试的多目标强化学习

深度神经网络（DNN）已广泛用于自主驾驶系统（ADS）等信息物理系统中执行现实任务。确保此类 DNN 赋能系统（DES）的正确行为是一个关键课题。在线测试是在闭环中利用其应用环境（模拟或真实）测试此类系统、并考虑系统与其环境之间持续交互的有前景的模式之一。然而，在系统实际运行中可能发生变化并导致 DES 违反需求（安全性、功能性）的环境变量（如光照条件），由于在在线测试场景执行期间常保持恒定，这源于两大挑战：（1）若它们发生变化，待探索的所有可能场景空间将变得更大；（2）通常需同时测试许多需求。本文提出 MORLOT（用于在线测试的多目标强化学习，Many-Objective Reinforcement Learning for Online Testing），一种通过结合强化学习（RL）与多目标搜索来解决这些挑战的新型在线测试方法。MORLOT 利用 RL 增量式生成环境变化序列，同时依靠多目标搜索来确定这些变化，使其更有可能实现任一未覆盖的目标。我们使用 CARLA（广泛用于自主驾驶研究的高保真模拟器）与 Transfuser（一种用于端到端驾驶的 DNN 赋能 ADS）集成，对 MORLOT 进行实证评估。评估结果表明，MORLOT 比替代方案显著更有效且更高效，且具有大效应量。换言之，MORLOT 是在考虑多重安全需求的同时测试具有动态变化环境的 DES 的良好选择。