面向噪声标签学习的标签检索增强扩散模型
机器学习
2023-12-05 v2 计算机视觉与模式识别
摘要
从噪声标签中学习是机器学习在实际应用中的一个重要且长期存在的问题。主要研究路线之一是学习一个标签纠正器来净化潜在的噪声标签。然而，这些方法通常依赖于严格的假设，并且仅限于某些类型的标签噪声。在本文中，我们从生成模型的视角重新表述标签噪声问题，即标签是通过逐步细化初始随机猜测而生成的。这一新视角立即使得现有的强大扩散模型能够无缝地学习该随机生成过程。一旦对生成不确定性进行了建模，我们就可以利用标签的最大似然估计进行分类推断。为减轻噪声标签的影响，我们提出了标签-检索-增强（LRA）扩散模型，其利用邻域一致性来有效构建用于扩散训练的伪干净标签。我们的模型灵活且通用，允许轻松整合不同类型的条件信息，例如使用预训练模型，以进一步提升模型性能。我们进行了大量实验用于评估。我们的模型在所有标准真实世界基准数据集上取得了新的最先进（SOTA）结果。值得注意的是，通过融入来自强大CLIP模型的条件信息，我们的方法在许多情况下能将当前SOTA准确率提升10-20个绝对百分点。
引用
@article{arxiv.2305.19518,
title = {Label-Retrieval-Augmented Diffusion Models for Learning from Noisy Labels},
author = {Jian Chen and Ruiyi Zhang and Tong Yu and Rohan Sharma and Zhiqiang Xu and Tong Sun and Changyou Chen},
journal= {arXiv preprint arXiv:2305.19518},
year = {2023}
}
备注
Accepted by NeurIPS 2023