面向大型语言模型的概念知识编辑
计算与语言
2024-10-08 v2 人工智能
数据库
信息检索
机器学习
摘要
近期，针对大型语言模型（LLM）的知识编辑引起了越来越多的关注。当前的方法和评估仅探索了实例级编辑，而LLM是否具备修改概念的能力仍不清楚。本文通过构建一个新颖的基准数据集ConceptEdit并建立一套新的评估指标，率先开展了对LLM概念知识编辑的研究。实验结果表明，尽管现有的编辑方法能够在一定程度上高效修改概念级定义，但它们也有可能扭曲LLM中相关的实例知识，导致性能不佳。我们期望这能激发在更好理解LLM方面的进一步进展。我们的项目主页可在 https://zjunlp.github.io/project/ConceptEdit 获取。
引用
@article{arxiv.2403.06259,
title = {Editing Conceptual Knowledge for Large Language Models},
author = {Xiaohan Wang and Shengyu Mao and Ningyu Zhang and Shumin Deng and Yunzhi Yao and Yue Shen and Lei Liang and Jinjie Gu and Huajun Chen},
journal= {arXiv preprint arXiv:2403.06259},
year = {2024}
}
备注
EMNLP 2024 Findings; Code: https://github.com/zjunlp/EasyEdit Dataset: https://huggingface.co/datasets/zjunlp/ConceptEdit