WiCER:Wiki-memory Compile, Evaluate, Refine迭代式知识编译
计算与语言
2026-05-11 v1 人工智能
摘要
LLM Wiki模式旨在将域知识编译为持久性artifact,并通过KV缓存推理为LLM提供访问,承诺以亚秒级延迟和零检索失败率提供上下文访问。实现这一目标需要解决编译鸿沟:LLM编译将原始文档提炼为wiki,而不会灾难性地丢弃关键事实。我们在17个RepLiQA领域(6800个问题)中描述了这一鸿沟:我们观察到完整上下文KV缓存推理在精选知识方面优于RAG(5分制中4.38 vs. 4.08,7.3倍更快的TTFT),但在规模化时因注意力稀释而低于RAG,盲目编译完全失败(2.14到2.32 vs. 3.46,53%到60%的灾难性失败率)。为解决编译鸿沟,我们提出了WiCER(Wiki-memory Compile, Evaluate, Refine),一种受反例引导的抽象细化(CEGAR)启发的迭代算法,以关闭这一鸿沟。WiCER评估编译后的wiki与诊断探针的匹配情况,识别被丢弃的事实,并强制在后续编译中保留它们。1-2次迭代即可恢复80%的质量损失(平均3.24 vs. 3.47用于原始完整上下文),将灾难性失败率降低55%。17个主题上的消除实验确认,针对性诊断(+0.95)而非通用固定(+0.16)是驱动性进步。所有代码和基准均已发布以实现可重复研究。
关键词
引用
@article{arxiv.2605.07068,
title = {WiCER: Wiki-memory Compile, Evaluate, Refine Iterative Knowledge Compilation for LLM Wiki Systems},
author = {Juan M. Huerta},
journal= {arXiv preprint arXiv:2605.07068},
year = {2026}
}