理解对抗训练与噪声标签的相互作用
机器学习
2021-02-10 v2
摘要
噪声标签(NL)与对抗样本都会损害训练好的模型，但有趣的是二者迄今被独立研究。近期一项对抗训练(AT)研究表明，成功攻击一个点（即在其邻近找到对抗样本）所需的投影梯度下降(PGD)步数是该点鲁棒性的有效度量。鉴于自然数据干净，该度量揭示了一种内在几何性质——一个点距其类别边界有多远。基于这一突破，本文中我们厘清 AT 如何与 NL 相互作用。首先，我们发现若一个点到其噪声类别边界过近（例如一步即可攻击成功），则该点很可能被误标，这提示采用 PGD 步数作为样本选择以纠正 NL 的新准则。其次，我们确认具有强平滑效应的 AT 比标准训练(ST)更少受 NL 影响（无需 NL 纠正），这表明 AT 本身即是一种 NL 纠正。因此，带 NL 的 AT 甚至有助于提升自然准确率，这再次说明了 AT 作为一种通用鲁棒学习准则的优越性。
引用
@article{arxiv.2102.03482,
title = {Understanding the Interaction of Adversarial Training with Noisy Labels},
author = {Jianing Zhu and Jingfeng Zhang and Bo Han and Tongliang Liu and Gang Niu and Hongxia Yang and Mohan Kankanhalli and Masashi Sugiyama},
journal= {arXiv preprint arXiv:2102.03482},
year = {2021}
}