重新思考深度学习中的不确定性：其是否及如何提升鲁棒性
机器学习
2020-11-30 v1
摘要
深度神经网络（DNNs）已知易受对抗攻击，为此提出了许多补救方法。虽然对抗训练（AT）被视为最鲁棒防御，但其在干净样本上及其他类型攻击（例如具有更大扰动的攻击）下均表现不佳。同时，鼓励不确定输出的正则化器，如熵最大化（EntM）和标签平滑（LS），能够保持干净样本上的准确率并改善弱攻击下的表现，然而它们防御强攻击的能力仍存疑。本文中，我们重新审视对抗学习领域中的不确定性促进正则化器，包括 EntM 和 LS。我们表明 EntM 和 LS 单独仅在小幅扰动下提供鲁棒性。相反，我们证明不确定性促进正则化器以原则性方式补充 AT，持续提升干净样本及各类攻击（尤其是大扰动攻击）下的性能。我们进一步从雅可比矩阵 的角度分析不确定性促进正则化器如何增强 AT 性能，发现 EntM 有效缩小了雅可比矩阵的范数，从而提升鲁棒性。
引用
@article{arxiv.2011.13538,
title = {Rethinking Uncertainty in Deep Learning: Whether and How it Improves Robustness},
author = {Yilun Jin and Lixin Fan and Kam Woh Ng and Ce Ju and Qiang Yang},
journal= {arXiv preprint arXiv:2011.13538},
year = {2020}
}