标签词即锚点：从信息流视角理解上下文学习
计算与语言
2023-12-20 v4 机器学习
摘要
上下文学习（ICL）作为大语言模型（LLMs）的一项有前景的能力而出现，通过向其提供示范样例来执行多样任务。然而，LLMs 如何从所给上下文中学习的内在机制仍未被充分探索。本文中，我们通过信息流的视角考察 ICL 的工作机制。我们的发现揭示，示范样例中的标签词起到锚点的作用：（1）语义信息在浅层计算层处理过程中汇聚到标签词表征中；（2）标签词中整合的信息作为 LLMs 最终预测的参考。基于这些洞见，我们引入了锚点重加权方法来提升 ICL 性能、一种加速推断的示范压缩技术，以及一个用于诊断 GPT2-XL 中 ICL 错误的分析框架。我们发现的颇具前景的应用再次验证了所揭示的 ICL 工作机制，并为未来研究铺平道路。
引用
@article{arxiv.2305.14160,
title = {Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning},
author = {Lean Wang and Lei Li and Damai Dai and Deli Chen and Hao Zhou and Fandong Meng and Jie Zhou and Xu Sun},
journal= {arXiv preprint arXiv:2305.14160},
year = {2023}
}
备注
Accepted by EMNLP 2023