深度神经网络离线测试与在线测试的比较：一个自动驾驶案例研究
机器学习
2021-05-03 v1 软件工程
摘要
关于开发深度神经网络（DNN）测试技术的研究日益增多。我们区分 DNN 的两种通用测试模式：离线测试，其中 DNN 作为独立单元基于独立于被测 DNN 获得的测试数据集进行测试；以及在线测试，其中 DNN 被嵌入特定应用并以闭环模式与应用环境交互进行测试。此外，我们确定了生成 DNN 测试数据集的两个来源：来自真实生活的数据集和由模拟器生成的数据集。虽然离线测试可使用来自任一来源的数据集，但在线测试主要局限于使用模拟器，因为真实生活应用中的在线测试可能耗时、昂贵且危险。在本文中，我们研究以下两个重要问题以比较 DNN 的测试数据集与测试模式：第一，我们能否使用模拟器生成的数据作为真实世界数据用于 DNN 测试的可靠替代？第二，在线与离线测试结果如何不同并相互补充？尽管这些问题通常对所有自主系统都相关，我们在自动驾驶系统的背景下研究它们，其中作为研究对象，我们使用自动化汽车转向执行器端到端控制的 DNN。我们的结果表明，模拟器生成的数据集能够产生与用真实生活数据集测试 DNN 相似的 DNN 预测错误。此外，离线测试比在线测试更乐观，因为在线测试发现的许多安全违规无法被离线测试识别，而离线测试产生的大预测错误总是导致在线测试可检测的严重安全违规。
引用
@article{arxiv.1912.00805,
title = {Comparing Offline and Online Testing of Deep Neural Networks: An Autonomous Car Case Study},
author = {Fitash Ul Haq and Donghwan Shin and Shiva Nejati and Lionel Briand},
journal= {arXiv preprint arXiv:1912.00805},
year = {2021}
}