面向 AI 系统测试的分布式感知
软件工程
2021-05-07 v1 人工智能
摘要
随着深度学习（DL）持续被应用于许多安全关键场景，其质量与可靠性开始引发担忧。类似于传统软件开发流程，在早期对 DL 软件进行测试以暴露其缺陷，是降低部署后风险的有效途径。尽管近期在面向 DL 软件的新型测试技术设计上已取得进展，但生成测试数据的分布并未被纳入考量。因此难以判断所发现的错误对 DL 应用而言是否确为有意义的错误。为此，我们提出一种新颖的 OOD 引导测试技术，旨在生成与底层 DL 系统任务相关的、未见的新测试用例。我们的结果表明，该技术在 CIFAR-10 上可过滤多达 55.44% 的错误测试用例，并在增强鲁棒性方面有效率高 10.05%。
引用
@article{arxiv.2105.02540,
title = {Distribution Awareness for AI System Testing},
author = {David Berend},
journal= {arXiv preprint arXiv:2105.02540},
year = {2021}
}
备注
2 pages, 1 figure, pre-print