可视化在LLM辅助知识图谱系统中的作用：对用户信任、探索与工作流的影响

知识图谱（KGs）是强大的数据结构，但即使是专家用户也难以有效地对其进行探索。大型语言模型（LLMs）越来越多地被用于填补这一空白，然而在实证方面，关于将其与KG结合使用如何影响用户信任、探索策略或下游决策制定知之甚少——这为基于LLM的KG可视化分析系统提出了关键的设计挑战。为了研究这些影响，我们开发了LinkQ，这是一个利用LLM将自然语言问题转换为结构化查询的KG探索系统。我们与KG专家合作设计了五种视觉机制，帮助用户评估KG查询和LLM响应的准确性：一个LLM-KG状态图，用于说明LinkQ处于探索流程的哪个阶段；一个查询编辑器，显示生成的查询并附带LLM解释；一个实体-关系ID表，显示提取的KG实体和关系及其语义描述；一个查询结构图，描绘在KG中遍历的路径；以及一个查询结果的交互式图形可视化。通过对14位从业者的定性评估，我们发现用户——甚至是KG专家——由于LinkQ“有帮助的”可视化而倾向于过度信任其输出，即使LLM是不正确的。用户根据其先前对KG和LLM的熟悉程度表现出不同的工作流，这挑战了这些系统是“一刀切”的假设——尽管它们通常被设计成那样。我们的发现突出了LLM辅助数据分析工具中虚假信任的风险，以及进一步研究可视化作为缓解技术的作用的必要性。