通过最近邻校准提升语言模型的少样本性能
计算与语言
2022-12-06 v1
摘要
预训练语言模型(PLMs)在提供自然语言提示中的少量示例作为测试实例的演示时，即上下文学习中，展现出显著的少样本学习能力。然而，上下文学习的性能易受提示格式、训练示例及训练示例排序的影响。本文提出一种新颖的用于上下文学习的最近邻校准框架以缓解该问题。其受一现象启发：上下文学习范式在推断训练实例时产生错误标签，这提供了有用的监督信号来校准预测。因此，我们的方法直接使用基于PLMs获得的缓存少样本实例表示及其对应标签构成的数据存储上的最近邻(NN)分类器来增强预测。随后引入自适应邻居选择与特征正则化模块，以充分利用少量支持实例来降低NN检索噪声。在各种少样本文本分类任务上的实验表明，我们的方法显著改善了上下文学习，同时在部分情感分析任务中甚至取得与最先进的基于微调方法相当的性能。
引用
@article{arxiv.2212.02216,
title = {Improving Few-Shot Performance of Language Models via Nearest Neighbor Calibration},
author = {Feng Nie and Meixi Chen and Zhirui Zhang and Xu Cheng},
journal= {arXiv preprint arXiv:2212.02216},
year = {2022}
}
备注
Work in progress