基于策略优化的动态检索式情境知识编辑
计算与语言
2025-10-28 v2
摘要
大型语言模型（LLMs）在事实记忆方面表现出色，但仍会传递陈旧或不正确的知识。情境式知识编辑提供了一种适用于黑盒 API 的无梯度编辑方法，但当前编辑器依赖于通过表面相似性选择的静态演示集，这导致两个持续存在的障碍：（i）数量与质量之间的权衡，（ii）对任务难度的适应性不足。我们通过根据编辑奖励动态选择支持演示来解决这些问题。我们提出了情境式知识编辑的动态检索器（DR-IKE），是一个轻量级框架：（1）使用 REINFORCE 训练一个 BERT 检索器以根据编辑奖励对演示进行排序，（2）采用可学习的阈值来修剪低价值示例，在编辑较为容易时缩短提示，在任务较为困难时扩展提示。DR-IKE 在不修改模型权重的情况下进行编辑，仅依赖前向传递，与黑盒 LLMs 完全兼容。在 COUNTERFACT 数据集上，它将编辑成功率提高了最高可达 17.1%，将延迟降低了 41.6%，并在保持与无关查询准确性的同时，展示了可扩展且具有自适应性的知识编辑能力。代码已提供：https://github.com/mwnafee/DR-IKE 。
引用
@article{arxiv.2510.21059,
title = {Dynamic Retriever for In-Context Knowledge Editing via Policy Optimization},
author = {Mahmud Wasif Nafee and Maiqi Jiang and Haipeng Chen and Yanfu Zhang},
journal= {arXiv preprint arXiv:2510.21059},
year = {2025}
}
备注
Accepted at EMNLP 2025. Copyright 2025 Association for Computational Linguistics (CC BY 4.0). 12 pages, 5 figures