使用互补标签的对抗训练：渐进信息攻击的益处
机器学习
2022-11-02 v1 密码学与安全
摘要
具有不完美监督的对抗训练（AT）十分重要但受关注有限。为推动 AT 走向更实际的场景，我们探索了一个全新且具挑战性的设定，即使用互补标签（CLs）的 AT，互补标签指定了一个数据样本不属于的类别。然而，将 AT 与现有 CLs 方法直接结合会导致持续失败，而在两阶段训练的简单基线上则不会。本文中我们进一步探究该现象，并将使用 CLs 的 AT 的潜在挑战归结为难以处理的对抗优化与低质量对抗样本。为解决上述问题，我们提出一种使用渐进信息攻击的新学习策略，其包含两个关键组件：1) 预热攻击（Warm-up）温和地提升对抗扰动预算，以缓解带 CLs 的对抗优化；2) 伪标签攻击（PLA）将逐步信息化的模型预测纳入修正的互补损失中。我们进行了大量实验，以证明我们的方法在一系列基准数据集上的有效性。代码公开于：https://github.com/RoyalSkye/ATCL。
引用
@article{arxiv.2211.00269,
title = {Adversarial Training with Complementary Labels: On the Benefit of Gradually Informative Attacks},
author = {Jianan Zhou and Jianing Zhu and Jingfeng Zhang and Tongliang Liu and Gang Niu and Bo Han and Masashi Sugiyama},
journal= {arXiv preprint arXiv:2211.00269},
year = {2022}
}
备注
NeurIPS 2022