揭示并缓解知识编辑中的过度注意问题
计算与语言
2025-02-21 v1 人工智能
摘要
大型语言模型在广泛的任务中展现出卓越的性能，但由于来自训练数据的错误知识仍会表现出不可接受的错误。为避免此问题，知识编辑方法涌现，将通过高效修改极小比例的参数来精准编辑特定模型知识。% 然而，这些方法会导致特定性失效问题：当与已编辑知识相关的内容出现在上下文中时，可能会不可避免地损坏其他既有知识。然而，这些方法会导致特定性失效问题，即由于编辑会严重降低现有知识和能力。我们的初步研究表明，特定性失效主要源于模型注意力头对与已编辑知识相关的实体分配过多注意力分数，从而对上下文中的特定片段进行不当聚焦，这我们称之为注意力漂移现象。为缓解此注意力漂移问题，我们引入一种简单而有效的方法——选择性注意力漂移限制（Selective Attention Drift Restriction, SADR），该方法在知识编辑过程中引入额外的正则化项，以限制注意力权重分布的变化，从而防止对已编辑实体的过度聚焦。在五个常用且强大的大型语言模型上的实验表明，我们的方法有效地缓解了主流知识编辑任务中的特定性失效问题。
引用
@article{arxiv.2502.14838,
title = {Revealing and Mitigating Over-Attention in Knowledge Editing},
author = {Pinzheng Wang and Zecheng Tang and Keyan Zhou and Juntao Li and Qiaoming Zhu and Min Zhang},
journal= {arXiv preprint arXiv:2502.14838},
year = {2025}
}