大语言模型在提示词中的易受影响性研究

大型语言模型（LLM）对提示词高度敏感，包括其中的额外上下文信息。随着 LLM 能力的提升，理解其对提示词的敏感性变得越来越关键，这对于确保其性能的可靠性和鲁棒性尤为重要，特别是因为评估这些模型变得更加困难。本文研究了当 LLM 接收来自另一模型的额外输入时的响应情况，模拟了更强大的模型——或访问更多外部信息的系统——为目标模型提供补充信息的场景。我们在多样化的问答任务中研究了当提示词包含来自另一模型的预测和解释时，LLM 对选择题回答的改变情况。具体而言，我们探讨了解释是否存在、来源的权威性以及补充输入的置信度陈述对模型响应的影响。我们的发现表明，模型受到的影响很大，当提供解释时，模型会受到影响，尽管解释的质量如何。模型更倾向于被权威或自信的输入所影响，但影响的大小较小。这一研究凸显了 LLM 的显著提示词敏感性，并强调了在不充分审查和进一步验证的情况下整合外部来源输出的潜在风险。随着 LLM 的不断发展，理解和减轻此类敏感性将对于其可靠和可信的部署至关重要。