直觉还是依赖?探究 LLM 面对冲突提示的行为风格
计算与语言
2024-02-21 v3
摘要
本研究考察了大型语言模型(LLMs)在面对与其内部记忆相冲突的提示时的行为。这不仅有助于理解 LLMs 的决策机制,也利于检索增强生成(RAG)等现实应用。借鉴认知理论,我们针对冲突中无优劣之分的第一类决策风格场景,将 LLMs 的偏好划分为依赖型、直觉型与理性/非理性风格。另一类事实鲁棒性场景考虑知识密集型任务中提示与记忆的正确性,也可用以区分 LLMs 在第一类场景中是否表现理性或非理性。为量化上述行为,我们建立了一套完整的基准框架,包含数据集、鲁棒性评估流程及相应指标。对七个 LLMs 的广泛实验揭示了它们各异的行为。并且,通过角色扮演干预,我们可以改变其风格,但不同模型呈现出不同的适应性与上限。我们的关键结论之一是根据所识别的风格优化模型或提示。例如,具有高角色扮演适应性的 RAG 模型可根据检索结果质量动态调整干预——在检索上下文信息丰富时表现为依赖型以更好利用;而在外部提示含噪时表现为直觉型。
引用
@article{arxiv.2309.17415,
title = {Intuitive or Dependent? Investigating LLMs' Behavior Style to Conflicting Prompts},
author = {Jiahao Ying and Yixin Cao and Kai Xiong and Yidong He and Long Cui and Yongbin Liu},
journal= {arXiv preprint arXiv:2309.17415},
year = {2024}
}