大型语言模型中少样本学习与微调的表示景观
计算与语言
2024-09-10 v2 机器学习
摘要
上下文学习（ICL）和监督微调（SFT）是提升现代大型语言模型（LLM）在特定任务上性能的两种常见策略。尽管它们的本质不同，但这些策略通常能带来可比的性能提升。然而，关于它们是否在 LLM 内部诱导相似的表示，人们知之甚少。我们通过分析这两种情况下其隐藏表示的概率景观来探讨这一问题。更具体地说，我们比较了 LLM 如何解决相同的问答任务，发现 ICL 和 SFT 创造了非常不同的内部结构，且两者都在网络中间经历了急剧的转变。在网络的前半部分，ICL 根据语义内容分层组织，塑造了可解释的表示。相比之下，SFT 获得的概率景观更模糊且语义混合。在模型的后半部分，微调表示发展出更好地编码答案身份的概率模式，而 ICL 表示的景观特征是较不明确的峰值。我们的方法揭示了 LLM 内部在不同条件下解决相同任务所发展出的多样化计算策略，使我们朝着设计从语言模型中提取信息的最佳方法迈进了一步。
引用
@article{arxiv.2409.03662,
title = {The representation landscape of few-shot learning and fine-tuning in large language models},
author = {Diego Doimo and Alessandro Serra and Alessio Ansuini and Alberto Cazzaniga},
journal= {arXiv preprint arXiv:2409.03662},
year = {2024}
}