借助对比示范与显著性图理解上下文学习
计算与语言
2024-04-29 v4 人工智能
摘要
我们研究了各类示范组件在大型语言模型（LLM）上下文学习（ICL）性能中的作用。具体而言，我们探讨了真实标签、输入分布与补充解释的影响，尤其在这些被更改或扰动时。我们基于先前工作展开，该工作就这些元素如何影响ICL给出了混合的发现。为探究这些问题，我们采用可解释NLP（XNLP）方法，并利用对比示范的显著性图进行定性与定量分析。我们的发现表明，翻转真实标签会显著影响显著性，尽管这在较大的LLM中更为明显。我们对输入分布在细粒度层面的分析显示，在情感分析任务中将指示情感的词改为中性词，其影响不如更改真实标签那样显著。最后，我们发现补充解释在提升ICL性能上的有效性依赖于任务，与符号推理任务相比，在情感分析任务中收益有限。这些洞见对于理解LLM的功能以及指导有效示范的开发至关重要，鉴于LLM在ChatGPT等应用中的使用日益增长，这一点愈发相关。我们的研究代码公开于 https://github.com/paihengxu/XICL。
引用
@article{arxiv.2307.05052,
title = {Towards Understanding In-Context Learning with Contrastive Demonstrations and Saliency Maps},
author = {Fuxiao Liu and Paiheng Xu and Zongxia Li and Yue Feng and Hyemi Song},
journal= {arXiv preprint arXiv:2307.05052},
year = {2024}
}
备注
10 pages, 5 figures