呈现方式与性能对用户满意度的影响

信息检索（IR）系统的有效性不仅取决于其检索相关结果的能力，还取决于它如何向用户呈现这些结果；引人入胜的呈现方式通常与用户满意度的提高相关。虽然现有研究已深入探讨了用户满意度、IR 性能指标和呈现方式之间的联系，但这些方面通常是孤立地进行研究的。我们的研究旨在通过考察查询性能、呈现方式和用户满意度之间的关系来弥合这一差距。为了进行分析，我们进行了一项受试者间实验，比较了针对临时新闻搜索界面的各种结果卡片布局的有效性。我们从 TREC WaPo 2018 集合中提取数据，将研究集中在四个特定主题上。在每个主题内，我们评估了六个具有不同 nDCG 值的不同查询。我们的研究涉及 164 名参与者，他们被暴露于五种包含结果卡片的不同布局之一，例如“标题”、“标题+图片”或“标题+图片+摘要”。我们的研究结果表明，虽然 nDCG 在查询级别上是用户满意度的强预测因子，但查询性能、结果呈现和用户满意度之间不存在线性关系。然而，当考虑初始结果页上的总增益时，我们观察到，对于某些带有结果卡片的布局（如标题+图片或标题+图片+摘要），呈现方式确实在用户满意度（在查询级别上）中扮演着重要角色。我们的结果还表明，布局差异对满意度有着复杂且多方面的影响。我们展示了通过改变结果的呈现方式来平衡不同性能查询之间用户满意度水平的能力。这强调了在 IR 系统中协调性能和呈现的必要性，同时考虑到用户多样化的偏好。