通过元梯度增强提升元学习中的泛化能力
机器学习
2023-06-16 v1 人工智能
摘要
元学习方法通常遵循双循环框架，其中每个循环都可能遭受严重的过拟合，阻碍了对新任务的快速适应与泛化。现有方案通过增强训练样本的互斥性或多样性来解决该问题，但这些数据操纵策略依赖于数据且灵活性不足。本文从梯度正则化的角度缓解元学习中的过拟合，提出了一种与数据无关的\textbf{元}\textbf{梯}\textbf{度}\textbf{增}\textbf{强}（\textbf{MGAug}）方法。其核心思想是先通过网络剪枝打破死记硬背，以解决内循环中的记忆过拟合，随后被剪子网络的梯度自然形成元梯度的高质量增强，以缓解外循环中的学习器过拟合。具体而言，我们探索了三种剪枝策略，包括\textit{随机宽度剪枝}、\textit{随机参数剪枝}，以及新提出的\textit{鲶鱼剪枝}——其为每个参数度量元记忆承载量（MMCA）分数并剪除高分参数以最大程度打破死记硬背。所提MGAug由PAC-Bayes框架下的泛化界提供理论保证。此外，我们扩展了轻量版MGAug-MaxUp，作为性能收益与资源开销之间的权衡。在多个少样本学习基准上的大量实验验证了MGAug的有效性及对各类元基线的显著提升。代码已公开于\url{https://github.com/xxLifeLover/Meta-Gradient-Augmentation}。
引用
@article{arxiv.2306.08460,
title = {Improving Generalization in Meta-Learning via Meta-Gradient Augmentation},
author = {Ren Wang and Haoliang Sun and Qi Wei and Xiushan Nie and Yuling Ma and Yilong Yin},
journal= {arXiv preprint arXiv:2306.08460},
year = {2023}
}