受困于期望：LLM 赋能聊天搜索中的功能固着
人机交互
2025-04-04 v1 人工智能
摘要
功能固着是一种认知偏差，它将用户与新系统或工具的交互限制在预期或熟悉的方式内，限制了大型语言模型（LLM）赋能聊天搜索的充分发挥潜力，尤其是在复杂和探索性任务中。为了调查其影响，我们进行了一项有 450 名参与者参与的众包研究，每位参与者完成六项决策任务中的一项，涵盖公共安全、饮食与健康管理、可持续性和 AI 伦理。参与者与 ChatGPT 进行多轮提示对话以完成任务，使我们能够比较对话前基于意图的期望与观察到的交互。我们发现：1）对话前期望的若干方面与用户先前使用 ChatGPT、搜索引擎和虚拟助手的经验密切相关；2）先前的系统经验塑造了语言使用和提示行为。频繁使用 ChatGPT 的用户减少了指示性词语和模糊词，并频繁调整提示。具有丰富搜索经验的用户保持结构化、较少对话性的查询，且修改最少。虚拟助手的用户偏好指令性、命令式的提示，从而强化了功能固着；3）当系统未能满足期望时，参与者生成了更详细的提示，语言多样性增加，反映了适应性的转变。这些发现表明，尽管先入为主的期望限制了早期交互，但未满足的期望可以激发行为适应。在适当的系统支持下，这可能会促进对 LLM 能力的更广泛探索。本文还引入了聊天搜索中用户意图的类型学，并强调了缓解功能固着以支持更具创造性和分析性地使用 LLM 的重要性。
引用
@article{arxiv.2504.02074,
title = {Trapped by Expectations: Functional Fixedness in LLM-Enabled Chat Search},
author = {Jiqun Liu and Jamshed Karimnazarov and Ryen W. White},
journal= {arXiv preprint arXiv:2504.02074},
year = {2025}
}