基于语言模型的真实少样本学习

预训练语言模型（LMs）即使在仅从少量示例学习时，也能在诸多任务上表现良好，但先前工作使用大量留出示例来调整学习的各个方面，如超参数、训练目标以及自然语言模板（“提示”）。在此，我们评估了在无法获得此类留出示例时 LMs 的少样本能力，这一设定我们称之为真实少样本学习（true few-shot learning）。我们测试了两种模型选择准则——交叉验证与最小描述长度，用于在真实少样本设定下选择 LM 提示与超参数。平均而言，两者仅略微优于随机选择，且远逊于基于留出示例的选择。此外，选择准则常常偏好于表现显著差于随机所选模型的模型。即便在考虑选择过程中模型真实表现的不确定性，以及改变用于选择的计算量和示例数量时，我们也得到了类似结果。总体而言，我们的发现表明，鉴于少样本模型选择的困难，先前工作显著高估了 LMs 的真实少样本能力。