结构人类，语义偏置：基于嵌入和图神经网络检测 LLM 生成的参考文献
机器学习
2026-01-29 v1
摘要
大型语言模型正在被用于策划文献列表，这引出了一个问题：它们的参考列表是否可被区分于人类列表？我们为 10,000 篇焦点论文（约 275k 条参考文献）从 SciSciNet 构建了配对引用图，包括真实引用图和 GPT-4o 生成的引用图（基于参数化知识），并添加了一个保持出度和领域分布的字段匹配随机基线，以打破潜在结构。我们比较了 (i) 仅结构的节点特征（度/近似中心性/向量中心性/聚类系数/边数）与 (ii) 3072 维标题/摘要嵌入，使用随机森林对图级聚合特征和带节点特征的图神经网络。仅靠结构几乎无法区分 GPT 与真实引用（RF 准确率约 0.60），尽管能干净地否定随机基线（约 0.89--0.92）。相比之下，嵌入显著提升了可分辨性：RF 在聚合嵌入上达到约 0.83，带嵌入节点特征的 GNN 在 GPT 与真实引用之间实现 93% 测试准确率。我们通过使用 Claude Sonnet 4.5 以及多个嵌入模型（OpenAI 和 SPECTER）复制管道来展示了发现的稳健性，RF 对真实引用与 Claude 的可分性约为 0.77，能干净地否定随机基线。因此，仅基于参数化知识生成的 LLM 文献列表在结构上与人类引用拓扑相似，但留下了可检测的语义指纹；检测和去偏应针对内容信号而非全局图结构。
引用
@article{arxiv.2601.20704,
title = {Structurally Human, Semantically Biased: Detecting LLM-Generated References with Embeddings and GNNs},
author = {Melika Mobini and Vincent Holst and Floriano Tori and Andres Algaba and Vincent Ginis},
journal= {arXiv preprint arXiv:2601.20704},
year = {2026}
}
备注
34 pages, 20 figures. Accepted at ICLR 2026