多任务学习聚合多种技能何时奏效？金融NLP中的案例研究
计算与语言
2023-05-24 v1
摘要
多任务学习（MTL）旨在利用多任务的数据与知识获得更优模型。然而，MTL并非总是有效——有时任务间发生负迁移，尤其在聚合松散相关技能时，这使其何时奏效成为开放问题。先前研究表明MTL性能可通过算法技巧提升。但应纳入哪些任务与技能则较少被探索。本工作中，我们在金融NLP领域开展案例研究，该领域存在多个与领域相关技能（如数值推理与情感分析）对应的数据集。鉴于金融NLP领域的任务难度与数据稀缺，我们探究何时通过MTL聚合来自多数据集的此类多样技能能够奏效。我们的发现表明，MTL成功的关键在于技能多样性、任务间相关性，以及聚合规模与共享容量的选择。具体而言，当任务多样但相关，且任务聚合规模与模型共享容量相平衡以避免压倒某些任务时，MTL表现良好。
引用
@article{arxiv.2305.14007,
title = {When Does Aggregating Multiple Skills with Multi-Task Learning Work? A Case Study in Financial NLP},
author = {Jingwei Ni and Zhijing Jin and Qian Wang and Mrinmaya Sachan and Markus Leippold},
journal= {arXiv preprint arXiv:2305.14007},
year = {2023}
}
备注
ACL 2023