通过数据归因测量多任务学习中的细粒度相关性
机器学习
2025-05-28 v1
摘要
测量任务相关性和减轻负迁移仍然是多任务学习（MTL）中一个关键的开放性挑战。本工作将数据归因——量化单个训练数据点对模型预测的影响——扩展到MTL设置中，以测量任务相关性。我们提出了多任务影响函数（MTIF），一种将影响函数适配于具有硬参数共享或软参数共享的MTL模型的方法。与传统的任务相关性测量相比，MTIF提供了一种超越整个任务级别的细粒度、实例级相关性度量。这种细粒度相关性度量使数据选择策略能够有效减轻MTL中的负迁移。通过广泛的实验，我们证明所提出的MTIF能够高效且准确地近似在数据子集上训练的模型的性能。此外，由MTIF实现的数据选择策略在MTL中持续提升了模型性能。我们的工作建立了数据归因与MTL之间的新联系，为测量任务相关性和增强MTL模型提供了一种高效且细粒度的解决方案。
引用
@article{arxiv.2505.21438,
title = {Measuring Fine-Grained Relatedness in Multitask Learning via Data Attribution},
author = {Yiwen Tu and Ziqi Liu and Jiaqi W. Ma and Weijing Tang},
journal= {arXiv preprint arXiv:2505.21438},
year = {2025}
}