THE-Tree：追溯历史演化能否增强科学验证与推理能力？
人工智能
2025-07-22 v2
摘要
大型语言模型（LLM）正在加速科学创意的生成，但严格评估这些数量众多、往往肤浅的AI生成命题的新颖性和事实准确性是一个关键瓶颈；人工验证速度太慢。现有的验证方法存在不足：作为独立验证器的LLM可能产生幻觉且缺乏领域知识（我们的发现显示，在特定领域，60%的LLM不了解相关论文），而传统的引文网络缺乏显式因果关系，叙述性综述则缺乏结构。这凸显了一个核心挑战：缺乏结构化、可验证且具有因果关联的科学演化历史数据。为解决这一问题，我们引入了\textbf{THE-Tree}（\textbf{T}echnology \textbf{H}istory \textbf{E}volution Tree，技术历史演化树），这是一个从科学文献中构建特定领域演化树的计算框架。THE-Tree采用搜索算法来探索演化路径。在其节点扩展过程中，它利用一种新颖的“思考-表述-引用-验证”过程：LLM提出潜在的进展并引用支持文献。关键在于，每个提出的演化链接随后会通过一个恢复的自然语言推理机制进行逻辑一致性和证据支持的验证，该机制会查询被引文献，确保每一步都有据可依。我们在不同领域构建并验证了88棵THE-Tree，并发布了一个基准数据集，包含多达71,000次事实验证，覆盖27,000篇论文，以促进进一步研究。实验表明：i）在图补全任务中，与传统的引文网络相比，我们的THE-Tree在多个模型上将hit@1指标提升了8%到14%；ii）在预测未来科学发展方面，它将hit@1指标提升了近10%；iii）当与其他方法结合时，它将评估重要科学论文的性能提升了近100%。
引用
@article{arxiv.2506.21763,
title = {THE-Tree: Can Tracing Historical Evolution Enhance Scientific Verification and Reasoning?},
author = {Xin Wang and Jiyao Liu and Yulong Xiao and Junzhi Ning and Lihao Liu and Junjun He and Botian Shi and Kaicheng Yu},
journal= {arXiv preprint arXiv:2506.21763},
year = {2025}
}