NoiLIn：改进对抗训练并纠正对噪声标签的刻板认知
机器学习
2022-08-05 v2
摘要
表述为极小极大优化问题的对抗训练（AT）能有效增强模型抵御对抗攻击的鲁棒性。现有 AT 方法主要集中于操控内部最大化以生成高质量对抗变体，或操控外部最小化以设计有效学习目标。然而，AT 的实证结果总是表现出鲁棒性与准确率的此消彼长以及交叉混合问题的存在，这促使我们去研究某些标签随机性以裨益 AT。首先，我们深入探究了将噪声标签（NLs）分别注入 AT 的内部最大化与外部最小化，并获得了关于 NL 注入何时裨益 AT 的观察结论。其次，基于这些观察，我们提出了一种简单而有效的方法——NoiLIn，它在每个训练周期随机向训练数据注入 NLs，并在发生鲁棒过拟合时动态提高 NL 注入率。实证表明，NoiLIn 能显著缓解 AT 的鲁棒过拟合不良问题，甚至进一步提升最先进 AT 方法的泛化能力。从哲学角度看，NoiLIn 揭示了以 NLs 学习的全新视角：NLs 不应总被视为有害，即便训练集中不存在 NLs，我们也可考虑刻意注入。代码见 https://github.com/zjfheart/NoiLIn。
引用
@article{arxiv.2105.14676,
title = {NoiLIn: Improving Adversarial Training and Correcting Stereotype of Noisy Labels},
author = {Jingfeng Zhang and Xilie Xu and Bo Han and Tongliang Liu and Gang Niu and Lizhen Cui and Masashi Sugiyama},
journal= {arXiv preprint arXiv:2105.14676},
year = {2022}
}
备注
Accepted at Transactions on Machine Learning Research (TMLR) at June 2022