通过探索与利用辅助数据改善少样本泛化
机器学习
2023-10-04 v4 计算与语言
摘要
少样本学习在许多真实世界应用中很有价值，但学习一个可泛化模型而不对少量标注数据点过拟合是具有挑战性的。在这项工作中，我们关注带有辅助数据的少样本学习（FLAD），这是一种在少样本学习期间假设可访问辅助数据以期改善泛化的训练范式。先前工作提出了混合辅助数据与目标数据的自动化方法，但这些方法的计算复杂度通常随辅助数据集数量线性（或更差）增长，限制了其实用性。在这项工作中，我们将 FLAD 与多臂老虎机设置中核心的探索-利用困境联系起来，并推导出计算复杂度与辅助数据集数量无关的算法，使我们能扩展到比先前方法多 100 倍的辅助数据集。我们提出了两种算法——EXP3-FLAD 和 UCB1-FLAD——并将它们与先前仅探索或仅利用的 FLAD 方法进行比较，发现探索与利用的结合至关重要。通过大量实验，我们发现我们的方法以 4% 的优势优于所有已有的 FLAD 方法，并首次实现了超越 1750 亿参数 GPT-3 的 30 亿参数语言模型。总体而言，我们的工作表明，发现更好、更高效的 FLAD 混合策略可能为显著改善少样本学习泛化提供可行路径。
引用
@article{arxiv.2302.00674,
title = {Improving Few-Shot Generalization by Exploring and Exploiting Auxiliary Data},
author = {Alon Albalak and Colin Raffel and William Yang Wang},
journal= {arXiv preprint arXiv:2302.00674},
year = {2023}
}
备注
NeurIPS 2023, 25 pages, 8 figures, code available at https://github.com/alon-albalak/FLAD