BatMan-CLR:使少样本元学习器对标签噪声具有鲁棒性
机器学习
2023-09-13 v1 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
标签噪声的负面影响在经典监督学习中已被充分研究,但在元学习中仍是一个开放的研究问题。元学习器旨在通过在元训练中学习一个好的初始模型,并在元测试时依据新任务对其进行微调,从而适应未见过的的学习任务。本文中,我们首次对不同程度标签噪声对最先进元学习器性能的影响进行了广泛分析,具体针对基于梯度的 路 样本学习器。我们表明,当元训练受标签噪声影响时,Reptile、iMAML 和 foMAML 在 Omniglot 和 CifarFS 数据集上的准确率下降高达 42%。为增强对标签噪声的鲁棒性,我们提出两种采样技术,即流形(Man)与批量流形(BatMan),它们将带噪监督学习器转化为半监督学习器以提高噪声标签的效用。我们首先通过增强构建 路 对比样本任务的流形样本,在元训练中通过对比损失学习嵌入,然后在元测试中通过对嵌入置零进行分类。我们表明,我们的方法能有效缓解元训练标签噪声的影响。即使在 60% 错误标签下,\batman 与 \man 配合现有元学习器在 Omniglot、CifarFS 和 MiniImagenet 数据集上可分别将元测试准确率下降限制在 、、 个百分点。
引用
@article{arxiv.2309.06046,
title = {BatMan-CLR: Making Few-shots Meta-Learners Resilient Against Label Noise},
author = {Jeroen M. Galjaard and Robert Birke and Juan Perez and Lydia Y. Chen},
journal= {arXiv preprint arXiv:2309.06046},
year = {2023}
}
备注
10 pages,3 figures