KnowledgeSmith：通过模型编辑与遗忘揭示大语言模型中的知识更新
计算与语言
2026-03-26 v3
摘要
知识编辑和机器遗忘是大语言模型（LLMs）保持更新的两种流行方法。然而，由于评估不足、孤立和小规模，LLMs 的知识更新机制在很大程度上尚未被探索。例如，LLMs 在修改某些知识时是否与人类相似？随着训练数据的增加，编辑和遗忘有何不同？本文提出了 KnowledgeSmith，一个用于系统理解 LLMs 更新机制的统一框架。我们首先将编辑和遗忘归约为一个约束优化问题的实例。然后，我们提出了一种自动数据集生成器，提供跨多个图级别和数据规模的结构化干预，从而实现对不同修改策略如何在模型知识中传播的受控研究。大量实验展示了关于知识传播、可塑性扩展、一致性和鲁棒性的细微见解。例如，我们的结果表明，LLMs 在不同知识层次上并不表现出与人类相似的更新方式，并且存在一致性与容量之间的权衡。我们希望我们的发现能为设计更可靠和可扩展的策略提供建议。代码：https://github.com/AIFrontierLab/KnowledgeSmith.git
引用
@article{arxiv.2510.02392,
title = {KnowledgeSmith: Uncovering Knowledge Updating in LLMs with Model Editing and Unlearning},
author = {Yinyi Luo and Zhexian Zhou and Hao Chen and Kai Qiu and Marios Savvides and Sharon Li and Jindong Wang},
journal= {arXiv preprint arXiv:2510.02392},
year = {2026}
}
备注
ICLR 2026