数字代谢：通过再生式去学习将逻辑与事实解耦——迈向纯神经逻辑核心
机器学习
2026-01-19 v1 人工智能
摘要
大型语言模型（LLM）当前面临参数纠缠问题，即通用推理能力（逻辑）与特定事实知识（事实）以叠加态存在于共享权重中。这种耦合导致了“记忆墙”，计算能力被浪费在模拟检索上，常引发幻觉。在本文中，我们提出“数字代谢”，这是一种热力学假设，认为定向遗忘是提炼纯神经逻辑核心所必需的。为验证该假设，我们引入了再生逻辑核心协议（RLCP），这是一种双流训练框架，通过深层梯度反转使特定事实依赖性在线性层面不可解码。将 RLCP 应用于 Qwen2.5-0.5B，我们观察到明显的相变：模型对目标事实关联的保留率接近零（准确率 < 7%），同时表现出与涌现的“结构结晶”效应一致的变化。在 GSM8K 上的实证分析表明，“代谢”后的模型自发采用思维链（CoT）支架，我们将其解释为对直接联想回忆丧失的补偿（从 回忆转向 推理）。尽管这种行为转变背后的因果机制尚需进一步研究，我们的发现为 DeepSeek 的 Engram 等架构创新提供了动态的权重级对应方案，为模块化的“神经 CPU + 符号 RAM”架构铺平了道路。
引用
@article{arxiv.2601.10810,
title = {Digital Metabolism: Decoupling Logic from Facts via Regenerative Unlearning -- Towards a Pure Neural Logic Core},
author = {Mengmeng Peng and Zhenyu Fang and He Sun},
journal= {arXiv preprint arXiv:2601.10810},
year = {2026}
}