线性元学习模型中几何任务多样性结构化分配的效应
机器学习
2026-01-16 v3 机器学习
摘要
元学习旨在通过跨相关任务获取信息来提高对新任务中无标签数据的预测性能，当仅有少量标记观测值可用时（即"few-shot"学习）。人们常认为增加任务多样性有助于元学习，因为它提供了更丰富的跨任务信息。然而，Kumar 等人 (2022) 的近期工作表明，增加任务多样性（通过任务表示的整体几何扩散程度衡量）实际上可能在各种模型和数据集上损害元学习预测性能。在本工作中，我们在这一观察基础上进一步表明，元学习性能不仅受任务参数整体几何变异性的影响，还受任务变异性相对于底层低维结构的分配方式的影响。类似于 Pimonova 等人 (2025)，我们将任务特有的回归效应分解为结构性信息性成分和正交、非信息性成分。我们在理论和仿真中表明，当较大比例的任务间变异性位于正交、非信息性方向上时，元学习预测性能会下降，即使保持任务的整体几何变异性不变。
关键词
引用
@article{arxiv.2509.18349,
title = {Effects of Structural Allocation of Geometric Task Diversity in Linear Meta-Learning Models},
author = {Saptati Datta and Nicolas W. Hengartner and Yulia Pimonova and Natalie E. Klein and Nicholas Lubbers},
journal= {arXiv preprint arXiv:2509.18349},
year = {2026}
}