纠正演示捷径中的上下文学习
计算与语言
2024-04-16 v3 人工智能
摘要
大型语言模型（LLM）能够仅通过少量演示即可利用其上下文学习（ICL）能力解决各种任务。然而，LLM往往依赖于演示的预训练语义先验，而非输入-标签之间的关系，以进行ICL预测。在本工作中，我们将这一现象称为“演示捷径”。虽然先前工作主要聚焦于改进针对预定义任务的ICL预测结果，但我们旨在纠正演示捷径，从而使LLM能够从演示中有效学习新的输入-标签关系。为实现此目标，我们引入In-Context Calibration，即一种演示感知校准方法。我们在两种设置下评估所提方法的有效性：（1）使用标准标签空间的原始ICL任务，（2）标签空间被替换为语义无关标记的任务学习设置。在这两种设置下，In-Context Calibration都表现出显著的改进，并在三个LLM家族（OPT、GPT和Llama2）的多个配置下均得到验证。
引用
@article{arxiv.2403.09488,
title = {Rectifying Demonstration Shortcut in In-Context Learning},
author = {Joonwon Jang and Sanghwan Jang and Wonbin Kweon and Minjin Jeon and Hwanjo Yu},
journal= {arXiv preprint arXiv:2403.09488},
year = {2024}
}
备注
NAACL 2024