CrossFit：面向 NLP 跨任务泛化的少样本学习挑战
计算与语言
2021-10-04 v2 机器学习
摘要
人类仅借助少量示例即可高效学习新的语言任务，其途径是利用在先前任务学习中所获得的知识。在本文中，我们探究此类跨任务泛化能力是否及如何能够被习得，并进一步应用于构建跨不同 NLP 任务的更优少样本学习器。我们引入 CrossFit，一个用于研究跨任务泛化能力的问题设定，其标准化了可见/不可见任务划分、不同学习阶段的数据访问以及评估协议。为在 CrossFit 中实例化不同的可见/不可见任务划分并促成深入分析，我们提出了 NLP Few-shot Gym，一个由开放获取 NLP 数据集创建并转换为统一文本到文本格式的 160 项多样化少样本 NLP 任务仓库。我们的分析揭示，通过在上游学习阶段使用一组可见任务，可提升在不可见任务上的少样本学习能力。我们还观察到，上游学习任务的选择会显著影响在不可见任务上的少样本表现，这要求进一步对任务相似性与可迁移性进行分析。
引用
@article{arxiv.2104.08835,
title = {CrossFit: A Few-shot Learning Challenge for Cross-task Generalization in NLP},
author = {Qinyuan Ye and Bill Yuchen Lin and Xiang Ren},
journal= {arXiv preprint arXiv:2104.08835},
year = {2021}
}
备注
Accepted to EMNLP 2021. Camera-ready version. Code: https://github.com/INK-USC/CrossFit