MAGNIFICo：评估大语言模型的上下文学习能力对新颖释义的泛化
计算与语言
2023-10-19 v1
摘要
人类拥有为语言表达赋予新颖释义的卓越能力，使其能学习新词并理解社群特定内涵。然而，大语言模型（LLMs）存在知识截止且反复微调成本高昂。因此，LLMs 进行上下文学习以获取新颖释义至关重要。本文系统分析 LLMs 利用上下文学习习得新颖释义的能力。为便于研究，我们引入 MAGNIFICo，一个在文本到 SQL 语义解析框架内实现的评估套件，其融合多样词元与提示设置以模拟现实世界复杂性。在 MAGNIFICo 上的实验结果表明，LLMs 展现出从自然语言描述及长对话中的讨论理解新颖释义的惊人鲁棒能力。尽管如此，我们的发现也凸显了进一步改进的必要性，特别是在解释陌生词或在同一示例中同时组合多个新颖释义时。此外，我们的分析揭示了 LLMs 中的语义偏好，并展现了长上下文中信息呈现的近因偏差影响。
引用
@article{arxiv.2310.11634,
title = {MAGNIFICo: Evaluating the In-Context Learning Ability of Large Language Models to Generalize to Novel Interpretations},
author = {Arkil Patel and Satwik Bhattamishra and Siva Reddy and Dzmitry Bahdanau},
journal= {arXiv preprint arXiv:2310.11634},
year = {2023}
}
备注
EMNLP 2023