面向信息量充分的少样本提示：基于最大信息增益的上下文学习
计算与语言
2023-10-16 v1
摘要
大语言模型（LLMs）具备利用关于新下游任务的少许示范作为条件来进行上下文学习（ICL）的能力。然而，这一特定学习范式遭受源于所选示例输入分布、其排序及提示格式等因素引发巨大方差的高不稳定性。本工作中，我们证明即便所有这些因子保持恒定，示例的随机选取仍导致高方差。因而，我们旨在通过量化观测给定候选示例后预测中获得的信息增益（IG）来探究数据示例的信息能力。进而我们提出采样那些具最大 IG 的示例。此外，我们识别出模板偏置的存在，它会在采样过程中导致 IG 评估的不公平。为缓解此偏置，我们引入采样前校准策略。实验结果显示，我们所提方法在六个分类任务上用三个 LLM 取得了平均相对 14.3% 的提升。
引用
@article{arxiv.2310.08923,
title = {Towards Informative Few-Shot Prompt with Maximum Information Gain for In-Context Learning},
author = {Hongfu Liu and Ye Wang},
journal= {arXiv preprint arXiv:2310.08923},
year = {2023}
}
备注
Accepted to the Findings of EMNLP 2023