通过拉普拉斯近似降低元学习中方差用于回归任务
机器学习
2024-10-24 v2 机器学习
摘要
给定有限的样本点集，元学习算法旨在学习一种针对新见任务的最优适应策略。这种数据常常是模糊的，因为它们可能同时属于不同的任务。这在元回归任务中尤其常见。在这种情况下，由于每个任务支持数据的有限量，估计得到的适应策略会受到高方差的制约，常常导致次优的泛化性能。本文针对梯度基于元学习中的方差问题进行了工作，并正式化了易受此问题影响的问题类别，我们称之为\emph{任务重叠}。具体而言，我们提出了一种新方法，通过对每个支持点的后验方差进行加权来降低梯度估计的方差。为估计后验，我们利用拉普拉斯近似，该方法允许我们以元学习者损失景观曲率的形式表达方差。实验结果表明，所提方法有效，凸显了在元学习中进行方差降低的重要性。
引用
@article{arxiv.2410.01476,
title = {Reducing Variance in Meta-Learning via Laplace Approximation for Regression Tasks},
author = {Alfredo Reichlin and Gustaf Tegnér and Miguel Vasco and Hang Yin and Mårten Björkman and Danica Kragic},
journal= {arXiv preprint arXiv:2410.01476},
year = {2024}
}