从事实覆盖到知识演化：基于策略自蒸馏的因果编辑
人工智能
2026-05-28 v1
摘要
虽然知识编辑 (KE) 能够实现高效更新，但其主导的静态事实覆盖范式将大语言模型 (LLM) 当作离散数据库进行处理，强行注入孤立的事实。这种做法会破坏预训练的逻辑拓扑结构，引发“认识偏差”——即模型在注入更新后被迫显式否定这些旧的先验信息。理想化的干预实验表明，这一现象是固有的结构性缺陷，而非仅属算法噪声；在零失真代理下的情形下，模型自我否定率可高达 95.6%。鉴于现实世界知识是因果驱动的， grounding 更新于显式因果叙事中可将冲突率有效压缩至仅 6.6%，凸显了向因果编辑范式迁移的必要性。为实现这种内化，我们提出了 CODE (Causal On-policy Distillation for Editing)。通过将因果引导与非对称策略自蒸馏相结合，CODE 将因果转换逻辑直接铭刻于参数化内存中。在 LLaMA-3.1 和 Qwen-2.5 上的实验表明，CODE 可将自我否定率大幅压制至 1.8%，同时实现稳健的多跳准确率（最高达 83.5%），实现了从离散事实注入向连贯知识演化的无缝转化。代码已公开于 https://github.com/CrashBugger/CODE。
引用
@article{arxiv.2605.28303,
title = {From Fact Overwriting to Knowledge Evolution: Causal Editing via On-Policy Self-Distillation},
author = {Shuaike Li and Kai Zhang and Xianquan Wang and Jiachen Liu and Shengpeng Mo},
journal= {arXiv preprint arXiv:2605.28303},
year = {2026}
}