通过学习函数研究多任务学习的收益
机器学习
2020-09-29 v2 计算与语言
机器学习
摘要
我们研究并量化了用于序列标注任务的多任务学习（MTL）模型的泛化模式。MTL 模型被训练以联合优化一组相关任务。尽管多任务学习在某些问题上取得了性能提升，也存在一同训练时性能下降的任务。这些混杂结果促使我们研究影响 MTL 模型性能的因素。我们注意到，MTL 模型存在理论界与收敛速率，但其依赖于强假设，如任务相关性与平衡数据集的使用。为弥补这些局限，我们提出构建任务模拟器，并利用符号回归（Symbolic Regression）学习将模型性能与可能的影响因素关联起来的表达式。对于 MTL，我们针对任务数（T）、每任务样本数（n）以及以调整互信息（AMI）度量的任务相关性研究了模型性能。在我们的实验中，我们凭经验找到了将模型性能与 、 因子关联的公式，这等价于 Maurer[2016] 中可靠的数学证明，而我们更进一步发现性能与 因子相关。
引用
@article{arxiv.2006.05561,
title = {Learning Functions to Study the Benefit of Multitask Learning},
author = {Gabriele Bettgenhäuser and Michael A. Hedderich and Dietrich Klakow},
journal= {arXiv preprint arXiv:2006.05561},
year = {2020}
}