从学习视角重新思考元学习
机器学习
2025-05-07 v3 计算机视觉与模式识别
摘要
元学习旨在从训练任务中学习一个泛化良好的模型初始化，以解决未见任务。从“学会学习”的角度来看，初始化的质量通过内循环中的一步梯度下降来建模。然而，与理论预期相反，我们的实证分析表明，这可能使元学习面临欠拟合问题。为了弥合理论理解与实际实现之间的差距，我们从“学习”的视角重新思考元学习。我们提出，元学习模型包含两个相互关联的组成部分：用于模型初始化的参数和用于特定任务微调的元层。根据任务的不同，这些组成部分会导致过拟合和欠拟合的风险，且它们的解决方案（更少参数与更多元层）往往相互冲突。为了解决这个问题，我们旨在不修改数据或模型结构的情况下，调节模型接收的任务信息。我们的理论分析表明，适应不同任务的模型可以相互增强，从而凸显出有效信息。基于这一见解，我们提出了 TRLearner，一种利用任务关系来校准元学习的即插即用方法。它首先提取任务关系矩阵，然后应用关系感知一致性正则化来指导优化。广泛的理论和实证评估证明了其有效性。
引用
@article{arxiv.2409.08474,
title = {Rethinking Meta-Learning from a Learning Lens},
author = {Jingyao Wang and Wenwen Qiang and Changwen Zheng and Hui Xiong and Gang Hua},
journal= {arXiv preprint arXiv:2409.08474},
year = {2025}
}