具有双层引导的自描述结构化数据：大规模 LLM 知识导航中 RAG 的轻量级替代方案以实现精准检索

大型语言模型（LLMs）在处理长输入上下文时表现出有据可查的位置偏差：上下文窗口中间的信息受到的关注远少于边界处的内容，这一现象被称为“迷失在中间”效应（Liu et al., 2024）。这限制了将大型结构化知识库直接嵌入 LLM 上下文的知识检索应用。检索增强生成（RAG）通过仅检索相关片段来解决可扩展性问题，但引入了大量基础设施开销，且不适用于语义边界由人工定义而非统计学习得到的库。我们提出了自描述结构化检索（SDSR），这是一个轻量级框架，其中结构化数据文件在文件的首要位置嵌入人工编写的导航元数据，从而利用而非对抗 LLM 的首要偏差。我们进一步提出了双层引导策略，将文件内元数据与系统提示词中的显式路由规则相结合。我们通过四轮基准测试验证了 SDSR，使用了一个包含 190 项技能的库，并通过对抗性干扰注入将其从 36 个类别扩展到 119 个类别。测试了四种条件：（A）无引导，（B）仅文件内摘要，（C）仅提示词提示，（D）两者结合。版本 D 在 119 个类别下实现了 100% 的主路由准确率（20/20），而无引导基线仅为 65%。我们发现了一个基本的不对称性：主路由可以通过显式规则解决，而次级跨类别路由则需要在数据结构中显式编码架构意图。我们进一步将 SDSR 扩展到半结构化语料库，展示了在具有可恢复文档结构的领域中，交叉引用编码如何使系统无需向量数据库即可运行。