ACD-U: 结合机器遗忘的非对称协同教学用于含噪标签的鲁棒学习
计算机视觉与模式识别
2026-03-10 v1
摘要
深度神经网络在训练过程中容易记忆错误标签，这会降低其泛化能力。尽管近期方法将样本选择与半监督学习(SSL)相结合以利用记忆效应——即网络在记忆噪声数据之前先学习干净数据——但一旦样本被误分类，它们无法纠正选择错误。为克服此问题，我们提出了ACD-U，一种使用不同模型架构并结合机器遗忘的非对称协同教学框架。ACD-U通过两个核心机制解决了这一局限性。首先，其非对称协同教学将CLIP预训练的视觉Transformer与卷积神经网络(CNN)配对，利用它们互补的学习行为：预训练模型提供稳定的预测，而CNN在整个训练过程中自适应。这种不对称性——视觉Transformer仅在干净样本上训练，而CNN通过SSL训练——有效减轻了确认偏差。其次，选择性遗忘通过损失轨迹分析和CLIP一致性检查识别错误记忆的样本，然后通过基于KL散度的遗忘消除其影响，从而实现事后错误纠正。这种方法将学习范式从被动的错误避免转变为主动的错误纠正。在合成和真实世界含噪数据集（包括CIFAR-10/100、CIFAR-N、WebVision、Clothing1M和Red Mini-ImageNet）上的实验表明，该方法达到了最先进的性能，特别是在高噪声环境和实例相关噪声下。代码公开于 https://github.com/meruemon/ACD-U。
引用
@article{arxiv.2603.07166,
title = {ACD-U: Asymmetric co-teaching with machine unlearning for robust learning with noisy labels},
author = {Reo Fukunaga and Soh Yoshida and Mitsuji Muneyasu},
journal= {arXiv preprint arXiv:2603.07166},
year = {2026}
}