面向大语言模型的分布式多层规则编辑
计算与语言
2026-04-10 v1 人工智能
摘要
大型语言模型不仅存储孤立事实，还存储支持跨符号表达式、自然语言解释和具体实例的推理的规则。然而，大多数模型编辑方法是为事实层面的知识构建的，假设目标编辑可通过局部干预实现。这一假设对规则层面的知识不成立，因为单个规则必须在多个相互依赖的形式之间保持一致。我们通过对规则层面知识编辑的机械学研究来探讨此问题。为支持此研究，我们将 RuleEdit 数据集从 80 条扩展到 200 条手动验证的规则，涵盖数学和物理。细粒度的因果追踪揭示了规则知识在 transformer 各层中的特定形式的组织：公式和描述集中在早期层，而实例更与中间层相关。这些结果表明，规则知识并非均匀局部化，因此无法通过单层或连续块干预可靠地编辑。基于这一洞察，我们提出了分布式多层编辑（DMLE），其对公式和描述应用共享的早期层更新，对实例应用单独的中间层更新。虽然在标准编辑指标上保持竞争力，DMLE 在规则层面编辑性能上显著优于最强的基线。在 GPT-J-6B、Qwen2.5-7B、Qwen2-7B 和 LLaMA-3-8B 上，DMLE 在实例可移植性和规则理解方面分别提高了 13.91 和 50.19 个百分点。代码可在 https://github.com/Pepper66/DMLE 获取。
引用
@article{arxiv.2604.08284,
title = {Distributed Multi-Layer Editing for Rule-Level Knowledge in Large Language Models},
author = {Yating Wang and Wenting Zhao and Yaqi Zhao and Yongshun Gong and Yilong Yin and Haoliang Sun},
journal= {arXiv preprint arXiv:2604.08284},
year = {2026}
}
备注
17 pages,3 figures. Under review