评估 LLMs 在知识图谱中寻找 serendipity（意外发现）的能力：针对药物再定位的案例研究

大型语言模型 (LLM) 已在知识图谱问答 (KGQA) 中取得显著进展，但现有系统通常针对返回高度相关但可预测的答案进行优化。仍有缺失的需求是利用 LLM 提供意外和新颖（" serendipitous "）答案的能力。本文正式定义了以 serendipity 为导向的 KGQA 任务，并提出 SerenQA 框架用于评估 LLM 在科学 KGQA 任务中发现意外洞见的能力。SerenQA 包括基于相关性、新颖性和惊喜感的严格 serendipity 指标，以及从临床知识图谱中派生的、聚焦药物再定位的专家标注基准数据集。此外，它还包含三个子任务：知识检索、子图推理和 serendipity 探索的结构化评估管道。我们的实验表明，虽然最新 SOTA LLM 在检索方面表现良好，但仍难以识别真正惊人且有价值的发现，这凸显了仍有显著的提升空间。我们精心策划的资源和扩展版本已发布于：https://cwru-db-group.github.io/serenQA。