揭示大语言模型随机性对信任、可靠性与拟人化的影响

与大语言模型（LLMs）交互的界面通常被设计为模仿人类对话，通常对用户查询呈现单一回复。这种设计选择可能会掩盖这些模型的概率和预测性质，从而可能助长对底层模型的不当信任和过度拟人化。在本文中，我们研究了作为应对这些问题的对策，同时显示多个回复的效果，以及一种认知支持机制——突出回复间的结构和语义相似性——如何帮助用户应对该干预带来的认知负荷增加。我们进行了一项被试内研究，参与者在三种条件下检查由LLM生成的回复：单一回复、有认知支持的十个回复和无认知支持的十个回复。随后，参与者回答了关于工作负荷、信任与依赖以及拟人化的问题。最后，我们报告了这些研究的结果，并讨论了未来LLM界面的未来工作和设计机会。