AI原生记忆：从大语言模型通往通用人工智能的路径

大语言模型（LLM）向世界展示了通用人工智能（AGI）的火花。一种观点，尤其来自一些从事LLM研究的初创公司，认为具有几乎无限上下文长度的LLM可以实现AGI。然而，他们可能对（现有）LLM的长上下文能力过于乐观——（1）最近的文献表明，它们的有效上下文长度远小于其声称的上下文长度；（2）我们的“草垛寻针”推理实验进一步证明，从长上下文中同时找到相关信息并进行（简单）推理几乎是不可能的。在本文中，我们设想了一条通过整合“记忆”从LLM通往AGI的路径。我们认为AGI应该是一个以LLM为核心处理器的系统。除了原始数据，该系统中的记忆将存储大量从推理过程中得出的重要结论。与仅处理原始数据的检索增强生成（RAG）相比，这种方法不仅将语义相关的信息连接得更紧密，而且在查询时简化了复杂的推理。作为一个中间阶段，记忆很可能以自然语言描述的形式存在，用户也可以直接使用。最终，每个智能体/个人都应该拥有自己的大型个人模型，这是一个深度神经网络模型（因此是“AI原生”），它参数化并压缩了所有类型的记忆，甚至是那些无法用自然语言描述的记忆。最后，我们讨论了AI原生记忆作为AGI时代（主动）参与、个性化、分发和社交的变革性基础设施的巨大潜力，以及随之而来的隐私和安全挑战及初步解决方案。