面向噪声鲁棒深度学习的更快元更新策略
机器学习
2021-05-03 v1 计算机视觉与模式识别
摘要
已有研究表明深度神经网络易于在偏置训练数据上过拟合。为解决此问题,元学习采用元模型来纠正训练偏置。尽管性能可观,极慢的训练目前是元学习方法中的瓶颈。本文引入一种新颖的更快元更新策略(FaMUS),以更快的逐层近似替代元梯度计算中最昂贵的步骤。我们通过经验发现,FaMUS 不仅产生合理准确的元梯度近似,且方差较低。我们进行了大量实验以在两个任务上验证所提方法。结果表明,我们的方法能够节省三分之二的训练时间,同时仍保持可比甚至更优的泛化性能。特别地,我们的方法在合成与真实噪声标签上均达到 SOTA 性能,并在标准基准的长尾识别上取得有前景的性能。
引用
@article{arxiv.2104.15092,
title = {Faster Meta Update Strategy for Noise-Robust Deep Learning},
author = {Youjiang Xu and Linchao Zhu and Lu Jiang and Yi Yang},
journal= {arXiv preprint arXiv:2104.15092},
year = {2021}
}
备注
Accepted to CVPR 2021