适应长尾：语言理解任务中迁移学习研究的元分析
计算与语言
2022-06-07 v2
摘要
自然语言理解（NLU）受大型基准驱动已取得巨大进展，但基准常使长尾中的低频现象代表性不足。我们反思如下问题：迁移学习方法是否已充分解决基准训练模型在长尾上表现不佳的问题？我们使用宏观维度（如代表性不足的体裁、主题等）概念化长尾，并对 100 篇关于 NLU 迁移学习的代表性论文进行定性元分析。我们的分析提出三个问题：（i）迁移学习研究针对哪些长尾维度？（ii）适应方法的哪些性质有助于提升长尾表现？（iii）哪些方法学空白对长尾性能负面影响最大？我们的答案凸显了未来长尾迁移学习的主要研究方向。最后，利用我们的元分析框架，我们开展案例研究比较多种适应方法在临床叙述上的表现，提供了可能助力沿这些未来方向取得进展的有趣见解。
引用
@article{arxiv.2111.01340,
title = {Adapting to the Long Tail: A Meta-Analysis of Transfer Learning Research for Language Understanding Tasks},
author = {Aakanksha Naik and Jill Lehman and Carolyn Rose},
journal= {arXiv preprint arXiv:2111.01340},
year = {2022}
}
备注
To appear in TACL 2022. This is a pre-MIT Press publication version