Vector RAG 与 LLM 编译的 Wiki：在小规模多领域研究上的预注册比较
计算与语言
2026-05-19 v1 信息检索
摘要
我们预注册了一项比较，旨在评估帮助 LLM 在小型研究语料库上回答问题的两种方式：单轮 Vector RAG 系统和 LLM 编译的 markdown wiki。这两个系统使用相同的答案生成模型，对 24 篇论文回答了相同的 13 个问题，并且它们的答案由不知情的 LLM 评委进行评分。Wiki 在跨论文连接研究结果方面得分更高，但在评委调整后，其在答案组织方面的优势并不明显。RAG 满足了单事实查找问题的预注册测试。查询端成本的清晰结果与预期的 Wiki 优势相悖：在测试设置下，Wiki 使用的查询 token 远多于 RAG，因此它无法通过更便宜的查询来收回任何前期构建成本。两项探索性分析改变了我们对结果的解释。首先，主张级别的引用检查更有利于 Wiki：其引用的页面更频繁地支持所做出的确切主张，尽管 RAG 在整体依据性评分标准上得分更高。其次，基于分解的 RAG 变体以更低的 LLM token 成本恢复了 Wiki 在跨论文综合方面的大部分优势，但它未能恢复 Wiki 在逐条主张引用支持方面的优势。主要结论是，有依据的研究综合并不是一种单一的能力。系统在组织证据的优劣、引用对每项主张的支持程度以及运行成本方面可能存在差异。在本研究中，没有一种架构在所有三个方面都是最优的。
引用
@article{arxiv.2605.18490,
title = {Vector RAG vs LLM-Compiled Wiki: A Preregistered Comparison on a Small Multi-Domain Research},
author = {Theodore O. Cochran},
journal= {arXiv preprint arXiv:2605.18490},
year = {2026}
}