大语言模型作为知识图谱探索、分析与可视化助手的初步路线图
人机交互
2024-04-03 v1
摘要
我们提出了一项混合方法研究，以探索大语言模型（LLM）如何帮助用户进行知识图谱（KG）的视觉探索和分析。我们调查并采访了来自工业界、政府实验室和学术界的20名专业人士，他们经常协同或同时使用KG和LLM。我们的发现表明，参与者压倒性地希望LLM通过联合查询构建促进从KG中检索数据，通过多轮对话识别KG中有趣的关系，并从KG创建按需可视化，从而增强他们对LLM输出的信任。为了与LLM交互，参与者强烈偏好一个基于聊天的“小部件”，构建在他们的常规分析工作流程之上，并能够利用他们与可视化的交互来引导LLM。在查看LLM的输出时，参与者同样偏好带注释的视觉元素（例如从KG中提取的子图或表格）与总结性文本的组合。然而，参与者也对LLM在将自然语言问题翻译成KG查询时保持语义意图的能力、LLM从KG“幻觉”虚假数据的风险以及设计“完美提示”的困难表示担忧。通过对我们访谈的分析，我们为LLM驱动的知识图谱探索系统的设计贡献了一个初步路线图，并概述了这一新兴设计空间中的未来机遇。
引用
@article{arxiv.2404.01425,
title = {A Preliminary Roadmap for LLMs as Assistants in Exploring, Analyzing, and Visualizing Knowledge Graphs},
author = {Harry Li and Gabriel Appleby and Ashley Suh},
journal= {arXiv preprint arXiv:2404.01425},
year = {2024}
}