扰动梯度以缓解元过拟合
机器学习
2024-11-12 v2 人工智能
计算机视觉与模式识别
摘要
元过拟合的原因可归因于两个因素：互非排他性和缺乏多样性，导致单个全局函数可以拟合所有元训练任务的支持集数据，但无法泛化到新的未见任务。这一问题表现为元训练任务上的低错误率，但新任务上的高错误率。然而，考虑到要实现的两个目标中的任何一个，即增加任务多样性和降低模型对某些任务的置信度，这个问题可以有多种新颖的解决方案。基于上述，本文提出了一系列解决少样本学习设置中元过拟合的方法，例如少样本正弦回归和少样本分类。我们提出的方法在非互斥任务设置中展示了相比最先进基线的改进泛化性能。总体而言，本文旨在提供解决元学习中过拟合问题的见解，并推动该领域向更鲁棒和更可泛化的模型发展。
引用
@article{arxiv.2405.12299,
title = {Perturbing the Gradient for Alleviating Meta Overfitting},
author = {Manas Gogoi and Sambhavi Tiwari and Shekhar Verma},
journal= {arXiv preprint arXiv:2405.12299},
year = {2024}
}