对抗风险、插值与标签噪声的一条定律

在有监督学习中，已表明数据中的标签噪声可被插值而不会对测试精度造成惩罚。我们表明插值标签噪声会引发对抗脆弱性，并证明了首个展示任意数据分布下标签噪声与对抗风险关系的定理。若不对学习算法的归纳偏置作任何假设，我们的结果几乎是紧的。随后我们研究了该问题的不同组成部分如何影响此结果，包括分布的性质。我们还讨论了非均匀标签噪声分布；并证明了一个新定理，表明均匀标签噪声引发的对抗风险几乎与相同噪声率下最坏的投毒攻击一样大。接着，我们提供理论与经验证据，表明均匀标签噪声比典型的真实世界标签噪声更具危害性。最后，我们展示归纳偏置如何放大标签噪声的影响，并论证了未来在此方向上开展工作的必要性。