深度神经网络的离线测试能否替代其在线测试？

我们区分深度神经网络（DNNs）的两种通用测试模式：离线测试，其中 DNN 作为独立单元基于在不涉及被测 DNN 情况下获得的测试数据集进行测试；以及在线测试，其中 DNN 被嵌入特定应用环境并以闭环模式与应用环境交互进行测试。通常，DNN 在其开发生命周期中会经历两类测试，离线测试在 DNN 训练后立即应用，在线测试在离线测试之后且一旦 DNN 部署于特定应用环境中便随之进行。本文研究离线测试与在线测试之间的关系。我们的目标是确定离线测试与在线测试如何不同或互补，以及离线测试结果是否可用于帮助降低在线测试的成本？尽管这些问题普遍与所有自主系统相关，我们在自动驾驶系统的背景下研究它们，以自动化自动驾驶车辆转向功能端到端控制的 DNN 作为研究对象。我们的结果表明，离线测试不如在线测试有效，因为在线测试发现的许多安全违规无法被离线测试识别，而离线测试产生的大预测误差总是导致在线测试可检测的严重安全违规。此外，我们无法在实践中利用离线测试结果降低在线测试成本，因为我们无法识别离线测试在识别安全要求违规方面与在线测试同样准确的特定情形。