面向自然语言处理中元学习的多样化自监督任务分布
计算与语言
2021-11-03 v1 机器学习
摘要
元学习考虑的问题是学习一个高效的学习过程，该过程能够利用其过往经验准确解决新任务。然而，元学习的效能关键取决于可用于训练的任务分布，而这通常被假定为先验已知或由有限的监督数据集构建。在这项工作中，我们旨在通过考虑从非标注文本中自动提出的自监督任务来为元学习提供任务分布，从而支持 NLP 中的大规模元学习。我们通过考量任务多样性、难度、类型、领域和课程等重要方面，设计了多种自监督任务分布，并研究它们如何影响元学习性能。我们的分析表明，所有这些因子都会有意义地改变任务分布，其中一些在下游少样本准确率上带来了显著提升。实证上，在 20 个下游任务上的结果显示少样本学习有显著提升——相较先前的无监督元学习方法平均绝对准确率提升达 +4.2%，并在 FewRel 2.0 基准上与监督方法表现相当。
引用
@article{arxiv.2111.01322,
title = {Diverse Distributions of Self-Supervised Tasks for Meta-Learning in NLP},
author = {Trapit Bansal and Karthick Gunasekaran and Tong Wang and Tsendsuren Munkhdalai and Andrew McCallum},
journal= {arXiv preprint arXiv:2111.01322},
year = {2021}
}
备注
To appear at EMNLP 2021