传统搜索与基于 LLM 的搜索在消费者选择中的比较：一项随机实验
人机交互
2023-11-10 v2
摘要
大语言模型开发的最新进展正迅速改变在线应用的功能。例如，基于 LLM 的搜索工具提供了可处理复杂查询并给出详细直接回答的自然语言界面。与此同时，由于算法生成文本中可能出现的错误或虚构，人们对基于 LLM 工具所提供信息的真实性存有担忧。在一系列在线实验中，我们研究了基于 LLM 的搜索相对于传统搜索如何改变人们的行为，以及可采取何种措施来缓解对基于 LLM 输出的过度依赖。实验参与者被要求完成一系列涉及调研与比较不同产品的决策任务，并被随机分配使用基于 LLM 的搜索工具或传统搜索引擎。在第一个实验中，我们发现使用基于 LLM 工具的参与者能够更快速地完成任务，使用的查询更少但更复杂。此外，这些参与者报告了更满意的基于 LLM 搜索工具体验。当 LLM 呈现的信息可靠时，使用该工具的参与者做出的决策准确性与使用传统搜索者相当，然而我们观察到当 LLM 出错时存在对错误信息的过度依赖。我们的第二个实验进一步探究此问题，随机分配部分用户查看一种简单的颜色编码高亮方案，以警示其 LLM 回答中潜在错误或误导性信息。总体而言，我们发现这种基于置信度的高亮显著提高了用户发现错误信息的比率，在改善其整体决策准确性的同时基本不影响其他指标。
引用
@article{arxiv.2307.03744,
title = {Comparing Traditional and LLM-based Search for Consumer Choice: A Randomized Experiment},
author = {Sofia Eleni Spatharioti and David M. Rothschild and Daniel G. Goldstein and Jake M. Hofman},
journal= {arXiv preprint arXiv:2307.03744},
year = {2023}
}