评估元学习中的数据影响
机器学习
2025-01-28 v1 人工智能
计算机视觉与模式识别
摘要
作为最基础的模型之一，元学习旨在有效解决 few-shot 学习挑战。然而，它仍面临与训练数据相关的显著问题，例如由于大型数据集中大量低贡献任务导致的训练效率低下以及来自错误标签的噪声。因此，需要针对元学习 develop training data attribution 方法。然而，元学习的双层结构使建模训练数据贡献复杂化，因为 meta 参数与 task-specific 参数之间存在相互影响，使得现有的训练数据影响评估工具无法适用或不准确。为此，基于影响函数，我们在双层优化框架内提出了一个通用的数据归因评估框架用于元学习。该方法引入任务影响函数（task-IF）和实例影响函数（instance-IF），以准确评估特定任务和单个数据点的影响。该框架全面建模了数据在内外训练过程中的贡献，捕捉数据点对 meta 参数的直接影响以及通过 task-specific 参数的间接影响。我们还提供了若干策略来提高计算效率和可扩展性。实验结果表明，该框架通过多个下游任务验证了在训练数据评估方面的有效性。
关键词
引用
@article{arxiv.2501.15963,
title = {Evaluating Data Influence in Meta Learning},
author = {Chenyang Ren and Huanyi Xie and Shu Yang and Meng Ding and Lijie Hu and Di Wang},
journal= {arXiv preprint arXiv:2501.15963},
year = {2025}
}