中文

高亮所有短语:通过可视化事实性指标增强大语言模型透明度

人机交互 2025-08-12 v1 人工智能

摘要

大语言模型(LLM)容易生成不准确或虚假的信息,通常被称为“幻觉”或“虚构”。尽管在通过评估模型响应的事实性来检测幻觉内容方面已取得若干技术进步,但关于如何有效地将这些信息传达给用户的研究仍然有限。为弥补这一空白,我们进行了两项基于场景的实验,共208名参与者,通过评估参与者对信任度、验证响应准确性难易程度及偏好的评分,系统比较了不同传达事实性分数的设计策略的效果。我们的研究结果表明,参与者偏好并信任一种根据事实性分数对响应中所有短语进行颜色编码的设计。与未应用任何样式的基线相比,参与者还发现这种样式更容易验证响应的准确性。我们的研究为LLM应用开发者和设计师提供了实用的设计指南,旨在校准用户信任、符合用户偏好,并增强用户审视LLM输出的能力。

关键词

引用

@article{arxiv.2508.06846,
  title  = {Highlight All the Phrases: Enhancing LLM Transparency through Visual Factuality Indicators},
  author = {Hyo Jin Do and Rachel Ostrand and Werner Geyer and Keerthiram Murugesan and Dennis Wei and Justin Weisz},
  journal= {arXiv preprint arXiv:2508.06846},
  year   = {2025}
}

备注

16 pages, 8 figures, To be published in Proceedings of the 8th AAAI/ACM Conference on AI, Ethics, and Society (AIES 2025)