通过链式思维进行知识编辑
计算与语言
2025-09-09 v2
摘要
知识编辑是一种更新大型语言模型 (LLMs) 以维护其世界知识的技术。这一方法避免了从头重新构建模型，从而解决了频繁再训练所导致的高成本问题。在这些方法中，以情境下编辑范式最为有效，可在不损害模型原始能力的前提下整合新知识。尽管具有潜力，但现有的情境下知识编辑方法往往具有任务特定性，主要关注使用结构化知识三元组的多跳问答任务。此外，这些方法依赖于少量样本提示进行任务分解，导致不稳定且在跨任务泛化方面效果较差。针对这些限制，我们提出了 EditCoT，一种一种新型知识编辑框架，可在无需重新训练的情况下灵活且高效地跨各种任务更新 LLMs。EditCoT 通过为给定输入生成链式思维 (CoT)，并基于更新后的知识不断精炼这个 CoT 过程来工作。我们在多样化的基准测试上评估了 EditCoT，涵盖多个语言和任务。结果表明，我们的方法实现了最先进的性能，同时在泛化、有效性和稳定性方面优于现有方法，标志着该领域知识更新的重大进展。EditCoT 的代码和数据可在 https://github.com/bebr2/EditCoT 获取。
引用
@article{arxiv.2412.17727,
title = {Knowledge Editing through Chain-of-Thought},
author = {Changyue Wang and Weihang Su and Qingyao Ai and Yichen Tang and Yiqun Liu},
journal= {arXiv preprint arXiv:2412.17727},
year = {2025}
}