面向混淆与偏置错误的深度神经网络图像分类器测试
软件工程
2020-02-13 v3 计算机视觉与模式识别
机器学习
摘要
图像分类器是当今软件的重要组成部分，从消费级和商业应用到安全关键领域均有涉及。深度神经网络（DNN）的出现是此类广泛成功的关键催化剂。然而，广泛采用引发了人们对依赖 DNN 进行图像分类的软件系统鲁棒性的严重担忧，因为在敏感和关键情况下已报告若干严重的错误行为。我们认为开发者需要严格测试其软件的图像分类器，并推迟部署直至达到可接受水平。我们提出了一种基于类属性违例的图像分类器鲁棒性测试方法。我们发现，流行 DNN 图像分类器中许多已报告的错误案例之所以发生，是因为训练模型将一类与另一类混淆，或对某些类表现出相对于其他类的偏置。这些缺陷通常违例了这些类中一个或多个类的某些类属性。大多数 DNN 测试技术关注逐图像违例，因而无法检测类级别的混淆或偏置。我们开发了一种测试技术，用于自动检测 DNN 驱动的图像分类软件中基于类的混淆和偏置错误。我们在多个流行图像分类器上评估了我们的实现 DeepInspect，对混淆错误的精确率高达 100%（平均约 72.6%），对偏置错误高达 84.3%（平均约 66.8%）。DeepInspect 在广泛使用的模型中发现了数百个分类错误，其中许多暴露了指示混淆或偏置的错误。
引用
@article{arxiv.1905.07831,
title = {Testing DNN Image Classifiers for Confusion & Bias Errors},
author = {Yuchi Tian and Ziyuan Zhong and Vicente Ordonez and Gail Kaiser and Baishakhi Ray},
journal= {arXiv preprint arXiv:1905.07831},
year = {2020}
}