面向目标检测系统的蜕变测试
计算机视觉与模式识别
2019-12-30 v1
摘要
深度神经网络（DNNs）的最新进展催生了能够快速处理图片或视频并识别其中所含目标的目标检测器。尽管 Amazon 和 Google 等工业制造商在将基于深度学习的目标检测作为标准计算机视觉服务商业化方面取得了可喜进展，目标检测系统——与传统软件类似——仍可能产生错误结果。这些错误进而会给目标检测系统的用户带来严重的负面后果。例如，未能检测到行人的自动驾驶系统可能导致事故甚至死亡。然而，尽管目标检测系统至关重要，对其开展系统性、有原则的测试方法尚不存在。为填补这一关键空白，我们介绍 MetaOD 的设计与实现，这是首个用于目标检测器的蜕变测试系统，可有效揭示商业目标检测器中的错误检测结果。为此，我们（1）通过将额外目标实例插入背景图像来合成自然外观的图像，以及（2）设计蜕变关系，在排除对插入目标的预测结果后，断言原始图像与合成图像之间目标检测结果的一致性。MetaOD 被设计为一个执行目标提取、选择与插入的精简工作流。在四项商业目标检测服务和 TensorFlow API 提供的四个预训练模型上的评估中，MetaOD 在这些目标检测器中发现了数以万计的检测缺陷。为进一步展示 MetaOD 的实际用途，我们使用导致错误检测结果的合成图像对模型进行重新训练。我们的结果表明，模型性能显著提升，mAP 分数从 9.3 提高到 10.5。
引用
@article{arxiv.1912.12162,
title = {Metamorphic Testing for Object Detection Systems},
author = {Shuai Wang and Zhendong Su},
journal= {arXiv preprint arXiv:1912.12162},
year = {2019}
}