CoLafier: 基于局部内在维度引导的协作式噪声标签净化器
机器学习
2024-01-12 v1 人工智能
摘要
深度神经网络（DNN）推动了许多机器学习任务的进步，但其性能常受真实世界数据中噪声标签的损害。为此，我们提出CoLafier，一种利用局部内在维度（LID）进行噪声标签学习的新方法。CoLafier由两个子网组成：LID-dis和LID-gen。LID-dis是一个专门的分类器。通过我们独特设计的方案训练，LID-dis同时消耗样本的特征和标签来预测标签——这使其能够产生增强的内部表示。我们观察到，从该表示计算的LID分数在各种噪声场景下有效区分正确和错误标签。与LID-dis相反，LID-gen作为常规分类器，仅基于样本特征运行。训练期间，CoLafier利用每个实例的两个增强视图来馈送两个子网。CoLafier考虑LID-dis产生的两个视图的LID分数，在适应损失函数中为两个子网分配权重。同时，作为分类器的LID-gen建议伪标签。然后LID-dis处理这些伪标签以及两个视图以推导LID分数。最后，这些LID分数以及两个子网预测的差异指导标签更新决策。这种双视图和双子网方法增强了框架的整体可靠性。训练完成后，我们部署CoLafier的LID-gen子网作为最终分类模型。CoLafier展示了改进的预测精度，超越了现有方法，特别是在严重标签噪声下。更多细节见代码：https://github.com/zdy93/CoLafier。
引用
@article{arxiv.2401.05458,
title = {CoLafier: Collaborative Noisy Label Purifier With Local Intrinsic Dimensionality Guidance},
author = {Dongyu Zhang and Ruofan Hu and Elke Rundensteiner},
journal= {arXiv preprint arXiv:2401.05458},
year = {2024}
}
备注
This work is accepted by SIAM International Conference on Data Mining (SDM24)