上下文学习的奥秘：关于解释与分析的全面综述
计算与语言
2024-10-04 v3
摘要
理解使大语言模型（LLMs）能够通过示范样例在能力上表现出色的上下文学习（ICL）能力至关重要。其重要性不仅源于跨各类任务对该能力的更好利用，也源于主动识别并缓解伴随该能力可能出现的潜在风险，包括真实性、偏见与毒性等方面的担忧。本文对上下文学习的解释与分析进行了详尽综述。首先，我们简要介绍上下文学习的背景与定义。随后，从两个视角概述进展：1）理论视角，强调对机制可解释性的研究并深入探究ICL背后的数学基础；2）经验视角，关注对与ICL相关因素进行实证分析的研究。最后，我们强调所遇挑战并建议未来研究的潜在方向。我们相信，本工作为深入探索上下文学习的解释奠定了基础。此外，我们已创建一个包含本综述所引用资源的仓库。
引用
@article{arxiv.2311.00237,
title = {The Mystery of In-Context Learning: A Comprehensive Survey on Interpretation and Analysis},
author = {Yuxiang Zhou and Jiazheng Li and Yanzheng Xiang and Hanqi Yan and Lin Gui and Yulan He},
journal= {arXiv preprint arXiv:2311.00237},
year = {2024}
}
备注
Accepted to the main conference of EMNLP 2024. Resources are available at https://github.com/zyxnlp/ICL-Interpretation-Analysis-Resources