编辑 Transformer 中的常识知识
计算与语言
2023-10-27 v3
摘要
直接编辑 Transformer 中的模型参数使得无需重新训练即可更新基于开源 Transformer 的模型成为可能（Meng 等，2023）。然而，这些编辑方法仅在具有单一正确答案的百科知识陈述上进行了评估。具有多个正确答案的常识知识（例如，苹果可以是绿色或红色但不能是透明的）虽同样对提升 Transformer 的可靠性与实用性至关重要，却尚未被研究。本文中，我们探究常识判断是否与 Transformer 中局部化、可编辑的参数存在因果关联，并给出了肯定回答。我们发现直接应用 MEMIT 编辑算法会导致次优性能，并通过改变编辑 token 与改进层选择策略（即 ）将其改进以适应常识领域。使用 编辑的 GPT-2 Large 与 XL 模型在 PEP3k 与 20Q 数据集上以 10.97% 与 10.73% 的 F1 分数优于最佳微调基线。此外，我们提出一个新的评估数据集 PROBE SET，其包含未受影响与受影响的邻域、受影响的释义以及受影响的推理挑战。 在各指标上表现良好，而微调基线在未受影响与受影响指标间表现出显著权衡。这些结果指出了一个通过直接模型编辑将常识反馈融入 Transformer 的引人瞩目的未来方向。
引用
@article{arxiv.2305.14956,
title = {Editing Common Sense in Transformers},
author = {Anshita Gupta and Debanjan Mondal and Akshay Krishna Sheshadri and Wenlong Zhao and Xiang Lorraine Li and Sarah Wiegreffe and Niket Tandon},
journal= {arXiv preprint arXiv:2305.14956},
year = {2023}
}
备注
Accepted to EMNLP 2023 Main Conference. Anshita, Debanjan, Akshay are co-first authors. Code and datasets for all experiments are available at https://github.com/anshitag/memit_csk