基于 Eigen-Reptile 的鲁棒元学习：应对采样噪声与标签噪声
机器学习
2022-06-07 v1 人工智能
摘要
近年来，元学习技术用于解决少样本学习（few-shot learning, FSL）问题的兴趣激增。然而，由于仅有少量可用样本（可视为干净数据集上的采样噪声），元学习器易于过拟合。此外，在处理带噪标签的数据时，元学习器对损坏数据集上的标签噪声可能极为敏感。为应对这两类挑战，我们提出 Eigen-Reptile（ER），其利用历史任务特定参数的主方向更新元参数，以缓解采样与标签噪声。具体而言，主方向以快速方式计算，其中所计算矩阵的规模与梯度步数而非参数数量相关。进一步，为在大量噪标签存在时获得更准确的 Eigen-Reptile 主方向，我们进一步提出内省自步学习（Introspective Self-paced Learning, ISPL）。我们从理论与实验上证明了所提 Eigen-Reptile 与 ISPL 的合理性及有效性。特别地，我们在不同任务上的实验表明，无论有无噪标签，所提方法均能优于或取得与其他基于梯度的方法高度竞争的性能。所提方法的代码与数据已提供用于研究目的 https://github.com/Anfeather/Eigen-Reptile。
引用
@article{arxiv.2206.01944,
title = {Robust Meta-learning with Sampling Noise and Label Noise via Eigen-Reptile},
author = {Dong Chen and Lingfei Wu and Siliang Tang and Xiao Yun and Bo Long and Yueting Zhuang},
journal= {arXiv preprint arXiv:2206.01944},
year = {2022}
}
备注
17 pages