Panini：通过结构化记忆实现令牌空间的持续学习

语言模型日益用于推理其未训练的内容，如新文档、演变中的知识和用户特定数据。常见方法是检索增强生成 (RAG)，该方法将字面文档外部存储（作为块）并在推理时检索相关子集供 LLM 推理。然而，这会导致测试时计算资源的低效使用（LLM 重复推理相同的文档）；此外，块检索可能会注入不相关的上下文，导致生成不受支持。我们提出了一种类人非参数持续学习框架，其中基模型保持固定，学习通过将每个新经验整合到外部语义记忆状态中来实现，该状态会持续累积和巩固。我们提出的 Panini 通过将文档表示为生成式语义工作空间 (GSW) 实现了这一点——一种具有实体和事件感知能力的问答对网络，足以让 LLM 重建经历情境并通过推理- grounding 推理链在网络上挖掘潜在知识。给定一个查询，Panini 只遍历不断更新的 GSW（而非字面文档或块），并检索最可能的推理链。在六个 QA 基准测试中，Panini 实现了最高的平均性能，5%-7% 的提升超过其他竞争基线，同时使用 2-30 倍更少的答案-上下文标记，支持完全开源管道，并在精选的不可回答查询上减少不受支持的答案。结果表明，GSW 框架在写入时对经验的高效和准确结构化，既带来效率 gains，又带来可靠性 gains。代码可在 https://github.com/roychowdhuryresearch/gsw-memory 获取。