迁移学习中源价值的评估
计算与语言
2021-04-27 v1
摘要
将基于数据丰富源训练的模型适配到低资源目标的迁移学习已广泛应用于自然语言处理（NLP）中。然而，当在多个源上训练迁移模型时，并非每个源对目标都同样有用。为了更好地迁移模型，理解各源的价值至关重要。本文提出 SEAL-Shap，一种高效的源评估框架，基于 Shapley 值方法量化迁移学习中各源（如领域/语言）的有用性。在跨领域与跨语言迁移上的实验和综合分析表明，我们的框架不仅能有效选择有用的迁移源，而且源价值与直观的源-目标相似度相吻合。
引用
@article{arxiv.2104.12567,
title = {Evaluating the Values of Sources in Transfer Learning},
author = {Md Rizwan Parvez and Kai-Wei Chang},
journal= {arXiv preprint arXiv:2104.12567},
year = {2021}
}
备注
NAACL 2021 Camera Ready