面向语言模型少样本学习的原型校准
计算与语言
2022-10-06 v2
摘要
类 GPT 模型的上下文学习已被认识到对不同手工模板和示例排列是脆弱的。在这项工作中，我们提出原型校准，以自适应地学习更鲁棒的决策边界用于零样本和少样本分类，而非贪心解码。具体而言，我们的方法首先采用高斯混合分布估计所有类别的原型簇。然后我们通过求解加权二分匹配问题将每个簇分配给相应标签。给定一个样本，其预测由原型簇的似然进行校准。实验结果表明，原型校准在多种不同任务上产生了实质性改进。跨不同规模的广泛分析也表明，我们的方法如预期般校准了决策边界，极大提高了 GPT 对模板、排列和类别不平衡的鲁棒性。
引用
@article{arxiv.2205.10183,
title = {Prototypical Calibration for Few-shot Learning of Language Models},
author = {Zhixiong Han and Yaru Hao and Li Dong and Yutao Sun and Furu Wei},
journal= {arXiv preprint arXiv:2205.10183},
year = {2022}
}