从不确定性视角刻画深度学习软件的对抗缺陷
软件工程
2020-04-27 v1 机器学习
摘要
在过去十年中，深度学习 (DL) 已成功应用于许多工业特定领域任务。然而，当前最先进的 DL 软件仍存在质量问题，这在安全和安全攸关场景中引发了极大关注。对抗样本 (AEs) 代表一类典型且重要的亟待解决的缺陷，DL 软件会对其作出错误决策。此类缺陷通过有意攻击或输入传感器感知的物理世界噪声产生，可能阻碍进一步的工业部署。深度学习决策固有的不确定性本质可能是其错误行为的根本原因。尽管近期已提出一些测试、对抗攻击与防御技术，仍缺乏系统性研究以揭示 AEs 与 DL 不确定性之间的关系。本文开展大规模研究以弥合该鸿沟。我们首先考察多种不确定性度量在区分良性样本 (BEs) 与 AEs 方面的能力，从而能够刻画输入数据的不确定性模式。随后，我们识别并归类 BEs 与 AEs 的不确定性模式，发现现有方法生成的 BEs 与 AEs 虽遵循常见不确定性模式，但其他一些不确定性模式在很大程度上被遗漏。基于此，我们提出一种自动化测试技术，以生成现有技术在很大程度上遗漏的多类非常见 AEs 与 BEs。我们进一步的评估揭示，由我们的方法生成的非常见数据难以被现有防御技术防御，平均防御成功率降低了 35%。我们的结果呼吁关注并有必要生成更多样化的数据以评估 DL 软件的质量保证方案。
引用
@article{arxiv.2004.11573,
title = {Towards Characterizing Adversarial Defects of Deep Learning Software from the Lens of Uncertainty},
author = {Xiyue Zhang and Xiaofei Xie and Lei Ma and Xiaoning Du and Qiang Hu and Yang Liu and Jianjun Zhao and Meng Sun},
journal= {arXiv preprint arXiv:2004.11573},
year = {2020}
}
备注
13 pages