探索上下文学习与指令微调之间的关系
计算与语言
2023-11-20 v1
摘要
上下文学习 (ICL) 与指令微调 (IT) 是将大语言模型 (LLM) 应用于下游任务的两大主要范式。然而，它们存在显著差异。在 ICL 中，推理时提供一组示范但 LLM 的参数不更新。在 IT 中，一组示范用于在训练时微调 LLM 的参数但推理时不使用示范。尽管已有大量文献探讨 ICL 与 IT，但这些主题的研究大多孤立进行，导致两种范式之间的脱节。本工作通过考察 LLM 在两种范式下隐藏状态的变化，探索 ICL 与 IT 之间的关系。通过基于 LLaMA-2 (7B 和 13B) 精心设计的实验，我们发现 ICL 是隐式的 IT。换言之，ICL 改变 LLM 的隐藏状态，仿佛这些示范被用于对该模型进行指令微调。此外，ICL 与 IT 的趋同在很大程度上取决于与所提供示范相关的若干因素。总体而言，本工作提供了一个独特视角以探索 ICL 与 IT 的联系，并有助于理解 LLM 的行为。
引用
@article{arxiv.2311.10367,
title = {Exploring the Relationship between In-Context Learning and Instruction Tuning},
author = {Hanyu Duan and Yixuan Tang and Yi Yang and Ahmed Abbasi and Kar Yan Tam},
journal= {arXiv preprint arXiv:2311.10367},
year = {2023}
}