跨多样化自然语言分类任务学习少样本学习
计算与语言
2020-11-17 v3 机器学习
摘要
Transformer 模型的自监督预训练在提升多项下游任务性能方面取得了巨大成功。然而，在新任务上微调仍需要大量任务特定的标注数据才能获得良好性能。我们将这种以少量样本泛化到新任务的问题视为元学习问题。尽管元学习近年来取得了巨大进展，但其应用仍局限于模拟问题或任务间多样性有限的问题。我们提出了一种新方法 LEOPARD，它支持跨不同类别数的任务进行基于优化的元学习，并在多样化 NLP 分类任务的泛化上评估了不同方法。LEOPARD 采用最先进的 transformer 架构训练，在训练期间完全未见的任务上展现出更好的泛化能力，每标签仅需 4 个样本。在涵盖实体类型标注、自然语言推理、情感分析和若干其他文本分类任务等多样化领域的 17 个 NLP 任务上，我们表明 LEOPARD 比自监督预训练或多任务训练学习到更好的少样本学习初始化参数，优于许多强基线，例如，在每标签仅 4 个样本的情况下，在未见任务上取得了 14.5% 的平均相对准确率提升。
引用
@article{arxiv.1911.03863,
title = {Learning to Few-Shot Learn Across Diverse Natural Language Classification Tasks},
author = {Trapit Bansal and Rishikesh Jha and Andrew McCallum},
journal= {arXiv preprint arXiv:1911.03863},
year = {2020}
}
备注
To appear at COLING 2020, camera-ready version