大语言模型易被无关上下文分散注意力
计算与语言
2023-06-07 v3 人工智能
摘要
大语言模型已在各种自然语言处理任务上取得令人印象深刻的性能。然而，迄今为止，它们的评估主要基于输入上下文中所有信息都与解决任务相关的基准。在本工作中，我们研究大语言模型的可分散性，即模型解题准确率如何受到无关上下文的影响。特别地，我们引入了带无关上下文的年级数学（GSM-IC），一个在问题描述中包含无关信息的算术推理数据集。我们使用该基准来衡量前沿大语言模型提示技术的可分散性，发现当包含无关信息时模型性能急剧下降。我们还确定了若干缓解此缺陷的方法，例如以自一致性进行解码，以及向提示中添加告知语言模型忽略无关信息的指令。
引用
@article{arxiv.2302.00093,
title = {Large Language Models Can Be Easily Distracted by Irrelevant Context},
author = {Freda Shi and Xinyun Chen and Kanishka Misra and Nathan Scales and David Dohan and Ed Chi and Nathanael Schärli and Denny Zhou},
journal= {arXiv preprint arXiv:2302.00093},
year = {2023}
}
备注
Published in ICML 2023