一致收敛、对抗球面及其简单补救
机器学习
2021-09-01 v2 人工智能
机器学习
摘要
先前的工作对一致收敛的通用框架及其解释神经网络泛化能力的能力提出了质疑。通过考虑一个特定数据集，观察到神经网络完全误分类了训练数据的某个投影（对抗集），使得任何基于一致收敛的现有泛化界都变得空洞。我们通过无限宽模型的视角对先前研究的数据设定进行了广泛的理论探究。我们证明神经切线核（NTK）也遭受同样的现象，并揭示了其根源。我们强调了输出偏置的重要作用，并从理论与经验上展示一个合理的选择如何完全缓解该问题。我们识别了对抗集上准确率的尖锐相变，并研究了其对训练样本量的依赖。因此，我们能够刻画效应消失的临界样本量。此外，我们通过考虑神经网络到其不同特征函数的规范分解，将其分解为干净与噪声部分，并从经验上表明在偏置过小时对抗现象依然存在。
引用
@article{arxiv.2105.03491,
title = {Uniform Convergence, Adversarial Spheres and a Simple Remedy},
author = {Gregor Bachmann and Seyed-Mohsen Moosavi-Dezfooli and Thomas Hofmann},
journal= {arXiv preprint arXiv:2105.03491},
year = {2021}
}