图像能澄清问题吗？图像对对话式搜索中澄清问题影响的实证研究

对话式搜索系统越来越多地采用澄清问题来优化用户查询并改善搜索体验。先前的研究已证明基于文本的澄清问题在提升检索性能和用户体验方面的有效性。虽然图像已被证明能在各种上下文中提升检索性能，但将其融入澄清问题后对用户性能的影响在很大程度上仍未得到探索。我们进行了一项包含73名参与者的用户研究，以调查图像在对话式搜索中的作用，特别考察了其对两项搜索相关任务的影响：(i) 回答澄清问题和 (ii) 查询重构。我们从多个角度比较了多模态和纯文本澄清问题在对话式搜索上下文中对这两项任务的影响。我们的研究结果显示，虽然参与者在回答澄清问题时表现出对多模态问题的强烈偏好，但在查询重构任务中偏好更为均衡。图像的影响随任务类型和用户专业水平而变化。在回答澄清问题时，图像有助于在不同专业水平的用户中保持参与度；而在查询重构中，图像则带来了更精确的查询和更好的检索性能。有趣的是，对于回答澄清问题，纯文本设置表现出更好的用户性能，因为在没有图像的情况下，它提供了更全面的文本信息。这些结果为设计有效的多模态对话式搜索系统提供了宝贵的见解，强调了视觉增强的益处是任务依赖的，应根据具体的搜索上下文和用户特征来策略性地实施。