提示增强线性探测：超越少样本上下文学习器的规模限制
计算与语言
2023-06-16 v3 机器学习
摘要
通过上下文学习（ICL），大规模语言模型无需额外微调即可成为有效的少样本学习器。然而，ICL 性能随可用训练样本数量的增加并不能良好扩展，因其受底层语言模型固有输入长度约束的限制。同时，许多研究揭示语言模型也是强大的特征提取器，使其能以黑盒方式被利用，并催生了线性探测范式，即在预提取的输入表示之上训练轻量判别器。本文提出提示增强线性探测（PALP），一种线性探测与 ICL 的混合方法，兼具二者之长。PALP 继承了线性探测的可扩展性与迫使语言模型通过将输入定制为更易理解的形式来导出更有意义表示的能力。通过对多个数据集的深入探究，我们验证了 PALP 显著增强了输入表示，以极小的训练开销缩小了数据匮乏场景下 ICL 与数据充足场景下微调之间的差距，潜在地使 PALP 成为黑盒场景下的有力替代方案。
引用
@article{arxiv.2212.10873,
title = {Prompt-Augmented Linear Probing: Scaling beyond the Limit of Few-shot In-Context Learners},
author = {Hyunsoo Cho and Hyuhng Joon Kim and Junyeob Kim and Sang-Woo Lee and Sang-goo Lee and Kang Min Yoo and Taeuk Kim},
journal= {arXiv preprint arXiv:2212.10873},
year = {2023}
}
备注
AAAI 2023