关系建模与蒸馏：面向噪声标签学习
人工智能
2024-06-04 v2
摘要
噪声标签学习已成为增强模型鲁棒性的有效策略，使模型能够更好地容忍不准确数据。现有方法要么专注于优化损失函数以减轻噪声干扰，要么设计程序检测潜在噪声并纠正错误。然而，在表示学习中，由于模型过拟合噪声标签的困境，它们的有效性常常受到影响。为解决此问题，本文提出一种关系建模与蒸馏框架，通过自监督学习建模样本间关系，并利用知识蒸馏增强对潜在关联的理解，从而减轻噪声标签的影响。具体而言，所提方法 RMDNet 包含两个主要模块：关系建模 (RM) 模块采用对比学习技术学习所有数据的表示，这是一种无监督方法，有效消除噪声标签对特征提取的干扰；关系引导表示学习 (RGRL) 模块利用从 RM 模块学到的样本间关系来校准噪声样本的表示分布，从而提升模型在推理阶段的泛化能力。值得注意的是，RMDNet 是一个即插即用框架，可集成多种方法以发挥其优势。在两个数据集上进行了大量实验，包括性能比较、消融研究、深入分析和案例研究。结果表明，RMDNet 能够为噪声数据学习判别性表示，从而获得优于现有方法的性能。
引用
@article{arxiv.2405.19606,
title = {Relation Modeling and Distillation for Learning with Noisy Labels},
author = {Xiaming Che and Junlin Zhang and Zhuang Qi and Xin Qi},
journal= {arXiv preprint arXiv:2405.19606},
year = {2024}
}