迈向机器学习的实用验证：以计算机视觉系统为例
密码学与安全
2022-12-21 v4 计算机视觉与模式识别
摘要
由于机器学习(ML)技术在自动驾驶系统和医学诊断等安全关键与安防关键领域中的使用日益增多，确保 ML 系统（尤其针对不同边界情况）行为正确变得愈发重要。本文提出一种利用不同现实安全属性评估 ML 系统安全性与鲁棒性的通用框架。我们进一步设计、实现并评估了 VeriVis——一种可仅通过黑盒访问验证最先进计算机视觉系统多种安全属性的可扩展方法。VeriVis 利用不同的输入空间约简技术以高效验证各类安全属性。VeriVis 能够在十五个最先进计算机视觉系统中发现数千起安全违例，其中包括十个深度神经网络(DNN)，如 Inception-v3 与英伟达 Dave 自动驾驶系统（含数千神经元），以及五个商业第三方视觉 API（包括 Google vision 与 Clarifai），涉及十二种不同安全属性。此外，VeriVis 能成功验证局部安全属性，平均覆盖约 31.7% 的测试图像。VeriVis 发现的违例数量最多可达现有基于梯度方法的 64.8 倍，而后者与 VeriVis 不同，无法确保任何违例的不存在性。最后，我们表明利用 VeriVis 检测到的安全违例进行重训练可将平均违例数减少至多 60.2%。
引用
@article{arxiv.1712.01785,
title = {Towards Practical Verification of Machine Learning: The Case of Computer Vision Systems},
author = {Kexin Pei and Linjie Zhu and Yinzhi Cao and Junfeng Yang and Carl Vondrick and Suman Jana},
journal= {arXiv preprint arXiv:1712.01785},
year = {2022}
}