FLEKE：联邦定位-编辑知识编辑
计算与语言
2025-02-24 v1 人工智能
机器学习
摘要
定位-编辑知识编辑（LEKE）是更新大型语言模型（LLM）而无需完全重新训练的关键技术。然而，现有方法假设单用户设置，在真实世界的多客户端场景中效率低下，其中去中心化组织（如医院、金融机构）独立更新重叠知识，导致冗余的中介知识向量（MKV）计算和隐私问题。为解决这些挑战，我们引入联邦定位-编辑知识编辑（FLEKE），一种使多个客户端在保持隐私和减少计算开销的同时协作完成 LEKE 的新任务。为实现这一目标，我们提出 FedEdit，一个两阶段框架，用于优化 MKV 选择和复用。在第一个阶段，客户端在本地应用 LEKE 并上传计算得到的 MKV。在第二个阶段，FLEKE 允许客户端基于余弦相似度检索相关 MKV，实现知识重新编辑并最小化冗余计算。实验结果表明，在两个基准数据集上，FedEdit 保留了非联邦 LEKE 的 96% 以上性能，同时约高出基于 FedAvg 的基线快两倍。此外，我们发现 MEMIT 在 FLEKE 任务中优于 PMET。我们的代码已在 https://github.com/zongkaiz/FLEKE 上发布。
引用
@article{arxiv.2502.15677,
title = {FLEKE: Federated Locate-then-Edit Knowledge Editing},
author = {Zongkai Zhao and Guozeng Xu and Xiuhua Li and Kaiwen Wei and Jiang Zhong},
journal= {arXiv preprint arXiv:2502.15677},
year = {2025}
}