基于知识光谱诊断模型编辑
计算与语言
2025-09-23 v1
摘要
模型编辑是指高效修改预训练语言模型中事实知识的过程，对维护其准确性和相关性至关重要。然而，现有编辑方法常引入不可预见的副作用，导致模型性能下降。虽然许多研究聚焦于改进编辑算法，但目标知识的内在特性在编辑成功性方面发挥着重要且鲜有被探讨的作用。本文首先提出 ``知识光谱'' 框架，系统性地基于知识在现实世界中的流行度、模型编辑前的熟悉程度以及eliciting 问题的语言结构，对知识进行分类。我们的实证分析表明，这些特征是编辑成功性与稳定性的强预测因子。基于这些发现，我们引入 ``知识诊断框架''，一种自适应策略，依据被诊断知识难度调整编辑强度。我们展示，该框架显著提高了困难编辑的成功率，同时优化了计算资源。本工作提供了更全面的对编辑影响因素的理解。
引用
@article{arxiv.2509.17482,
title = {Diagnosing Model Editing via Knowledge Spectrum},
author = {Tsung-Hsuan Pan and Chung-Chi Chen and Hen-Hsen Huang and Hsin-Hsi Chen},
journal= {arXiv preprint arXiv:2509.17482},
year = {2025}
}