基于模型的行为边界探索用于深度学习系统测试
软件工程
2020-07-07 v1 人工智能
机器学习
摘要
随着深度学习(DL)在自动驾驶等关键任务中的采用日益增多,依赖 DL 的系统之质量评估已变得至关重要。一旦训练完成,DL 系统会对任意给定的数值向量输入产生输出,无论其是否处于被测系统的有效性域内。因此,此类系统的质量由其有效性域与其输出表现出异常行为的区域之间的交集决定。本文引入行为边界的概念,即 DL 系统开始表现出异常行为的输入。若异常行为边界位于系统有效性域之外,则质量检查通过;否则,交集处的输入代表了系统的质量缺陷。我们开发了 DeepJanus,一种基于搜索的工具,可为 DL 系统生成边界输入。针对自动驾驶汽车车道保持组件获得的实验结果表明,训练良好的系统的边界几乎完全由违背土木工程最佳实践的不现实道路组成,而训练不佳的系统的边界则包含许多指向系统严重缺陷的有效输入。
引用
@article{arxiv.2007.02787,
title = {Model-based Exploration of the Frontier of Behaviours for Deep Learning System Testing},
author = {Vincenzo Riccio and Paolo Tonella},
journal= {arXiv preprint arXiv:2007.02787},
year = {2020}
}
备注
To be published in the Proceedings of the ACM Joint European Software Engineering Conference and Symposium on the Foundations of Software Engineering (ESEC/FSE 2020); 13 pages, 6 figures