少样本自适应在不可预测数据上同样有效
计算与语言
2022-08-09 v2 人工智能
机器学习
摘要
先前关于语言模型（LMs）的工作表明，在大量多样化任务上训练可提升在新任务上的少样本学习（FSL）性能。我们将此推向极致，从互联网表格中自动抽取了 413,299 个任务——比次大的公开数据集高出数个数量级。在所得数据集上微调可改善自然语言处理（NLP）任务上的 FSL 性能，但并非随数据集规模成比例提升。事实上，我们发现数据集的窄子集有时优于更多样化的数据集。例如，在来自 support.google.com 的软件文档上微调，在 52 个下游任务上以均值 +7.5% 提升 FSL 性能，优于在 40 个人工策划的 NLP 数据集上训练（+6.7%）。在各种窄数据集上微调均带来跨测试任务的类似广泛改进，表明增益并非来自领域自适应，而是对一般 FSL 的适应。我们未观察到导致 FSL 增益的数据集之间的清晰模式，留下了为何某些数据有助于 FSL 的开放问题。
引用
@article{arxiv.2208.01009,
title = {Few-shot Adaptation Works with UnpredicTable Data},
author = {Jun Shern Chan and Michael Pieler and Jonathan Jao and Jérémy Scheurer and Ethan Perez},
journal= {arXiv preprint arXiv:2208.01009},
year = {2022}
}
备注
Code at https://github.com/JunShern/few-shot-adaptation