用于测试机器学习赋能自治系统的定量投影覆盖
软件工程
2018-05-14 v1 机器学习
摘要
对从神经网络习得的模型进行系统性测试，仍是成功论证以数据驱动方法设计的自动驾驶车辆安全性的关键未解障碍。我们提出定量k-投影覆盖作为一种在引导数据采样过程的同时缓解组合爆炸的度量。通过假设领域专家提出大体独立的环境条件，并将各条件中的元素与权重相关联，这些条件的乘积构成场景，且可将与每个等价类相关联的权重解释为相对重要性。达到完全k-投影覆盖要求：当数据集被投影到任意选定k个条件所构成的超平面时，覆盖每个类的数据点数目不少于关联权重。对于场景组合受规则约束的一般情形，精确计算k-投影覆盖仍属NP类问题。关于寻找达到完全覆盖的最小测试用例，我们给出了重要子情形的理论复杂度以及到0-1整数规划的编码。我们已实现了一个研究原型，为自动驾驶中的视觉物体检测单元生成测试用例，证明了我们所提覆盖准则的技术可行性。
引用
@article{arxiv.1805.04333,
title = {Quantitative Projection Coverage for Testing ML-enabled Autonomous Systems},
author = {Chih-Hong Cheng and Chung-Hao Huang and Hirotoshi Yasuoka},
journal= {arXiv preprint arXiv:1805.04333},
year = {2018}
}