2020 年代自然语言处理中的多任务学习：我们将走向何方？
计算与语言
2020-08-03 v1 机器学习
摘要
多任务学习（MTL）远早于深度学习时代，并且在过去几年随着研究者将 MTL 应用于自然语言任务的深度学习解决方案而重新兴起。尽管稳定的 MTL 研究一直存在，但在相关领域如迁移学习和预训练（如 BERT）取得的令人瞩目的成功以及新挑战问题（如 GLUE 和 NLP Decathlon (decaNLP)）的发布所驱动的日益增长兴趣的推动下，关注愈发增多。这些努力更加关注权重在网络间如何共享，评估网络组件的可重用性，并识别 MTL 能显著优于单任务解决方案的用例。本文力求对近年来众多面向自然语言处理领域的 MTL 贡献进行全面综述，并提供一个论坛以聚焦下一个十年中最困难的未解问题。尽管持续改进 NLP 基准性能的新模型不断产生，但持久的 MTL 挑战仍未解决，这可能成为更好的语言理解、知识发现和自然语言交互的关键。
引用
@article{arxiv.2007.16008,
title = {Multi-task learning for natural language processing in the 2020s: where are we going?},
author = {Joseph Worsham and Jugal Kalita},
journal= {arXiv preprint arXiv:2007.16008},
year = {2020}
}
备注
12 pages, 2 figures. Published in Elsevier Pattern Recognition Letters Volume 136. Accepted manuscript published here