对抗鲁棒性作为学习表征的先验
机器学习
2019-09-30 v2 计算机视觉与模式识别
机器学习
神经与进化计算
摘要
深度学习的一个重要目标是学习输入数据通用、高层的特征表征。然而，标准网络的表征似乎存在缺陷，正如我们所说明的，这些缺陷阻碍它们完全实现这一目标。在这项工作中，我们表明鲁棒优化可以被重新诠释为一种对深度神经网络所学特征施加先验的工具。结果表明，鲁棒模型学到的表征解决了上述缺陷，并在学习输入的高层编码方面取得显著进展。具体而言，这些表征近似可逆，同时允许对显著输入特征进行直接可视化与操控。更广泛地说，我们的结果表明对抗鲁棒性（adversarial robustness）是改进学习表征的一条有前景的途径。我们用于复现这些结果的代码和模型可在 https://git.io/robust-reps 获取。
引用
@article{arxiv.1906.00945,
title = {Adversarial Robustness as a Prior for Learned Representations},
author = {Logan Engstrom and Andrew Ilyas and Shibani Santurkar and Dimitris Tsipras and Brandon Tran and Aleksander Madry},
journal= {arXiv preprint arXiv:1906.00945},
year = {2019}
}