基于自由文本的LLM常识知识编辑
量子物理
2025-08-18 v3 介观与纳米尺度物理
光学
摘要
知识编辑技术对于维持大规模语言模型(LLM)的准确性和时效性至关重要。然而，该任务的设置忽略了现实世界中基于自由文本的大量常识知识，其特征是知识范围广泛、内容冗长且非实例化。此前方法的编辑对象(如MEMIT)为单个标记或实体，不适合自由文本形式的常识知识。为应对上述挑战，我们从两个角度进行了实验：知识定位和知识编辑。首先，我们引入了自由文本知识定位(KLFT)方法，揭示了常识知识在多层感知器(MLP)和注意力层中的分布挑战，以及去中心化分布的特征。接下来，我们提出了一种动态感知编辑方法(DEM)，利用动态感知模块定位与常识知识对应的参数位置，并使用知识编辑模块更新知识。DEM方法充分利用了MLP和注意力层的潜力，成功编辑了基于自由文本的常识知识。实验结果表明，DEM能够实现优秀的编辑性能。
引用
@article{arxiv.2410.23845,
title = {The non-Hermitian skin effect: A perspective},
author = {Julius T. Gohsrich and Ayan Banerjee and Flore K. Kunst},
journal= {arXiv preprint arXiv:2410.23845},
year = {2025}
}