基于点评可利用信息识别多任务学习中的任务分组
计算与语言
2025-07-18 v2 人工智能
摘要
多任务学习的成功程度很大程度上取决于将哪些任务组合在一起。将所有任务或随机任务组合在一起可能会导致负迁移，使得多任务模型的性能不如单任务模型。尽管已努力识别任务分组并衡量不同任务之间的相关性，但仍是一个具有挑战性的研究主题，如何定义度量标准以识别众多潜在任务组合中的最佳任务分组。我们提出了一种基于点评可利用信息（PVI）衡量任务难度的任务相关性度量标准。PVI是一种最近提出的度量标准，用于估算给定模型时数据集包含多少可用信息。我们假设，PVI估计值不 statistically 不同的任务足够相似，以从利于联合学习过程。我们在通用、医学和临床领域的15个NLP数据集上进行了全面实验，以评估此度量标准用于任务分组的可行性。我们将联合学习者的结果与单任务学习者、现有基线方法以及最新的大型语言模型（包括Llama 2和GPT-4）进行比较。结果表明，通过对具有相似PVI估计值的任务进行分组，联合学习者能够在更少的总参数下获得具有竞争力的结果，并在不同领域中表现出一致的性能。
引用
@article{arxiv.2410.12774,
title = {Identifying Task Groupings for Multi-Task Learning Using Pointwise V-Usable Information},
author = {Yingya Li and Timothy Miller and Steven Bethard and Guergana Savova},
journal= {arXiv preprint arXiv:2410.12774},
year = {2025}
}
备注
main paper 12 pages, Appendix 7 pages, 1 figure, 18 tables