论元学习与带噪标签：重加权动力学与理论保证
机器学习
2025-10-15 v1 人工智能
摘要
学习带有噪声标签的问题仍然具有挑战性，因为过参数化的网络会记忆受损的监督信息。基于元学习的样本重加权通过使用小型干净子集来指导训练，却缺乏对其行为和训练动力学的理论理解。我们对元重加权在标签噪声下的训练轨迹进行严格的理论分析，显示其训练过程分为三个阶段：(i) 对齐阶段放大与干净子集一致的示例，抑制冲突的示例；(ii) 过滤阶段驱动噪声示例权重趋于零，直至干净子集损失平台稳定；(iii) 后过滤阶段中，噪声过滤变得对扰动敏感。其机制是训练信号与干净子集信号之间的相似度加权耦合，以及干净子集训练损失的收缩；在干净子集损失足够小的后过滤阶段，耦合项消失，元重加权丧失判别力。基于这一分析，我们提出一种轻量级替代方案，用于元重加权，集成均值居中、行偏移和标签符号调制，实现更稳定的性能，同时避免昂贵的双层优化。在合成和真实噪声标签基准测试中，我们的方法始终优于强大的重加权/选择基线。
引用
@article{arxiv.2510.12209,
title = {Revisiting Meta-Learning with Noisy Labels: Reweighting Dynamics and Theoretical Guarantees},
author = {Yiming Zhang and Chester Holtz and Gal Mishne and Alex Cloninger},
journal= {arXiv preprint arXiv:2510.12209},
year = {2025}
}