编辑语言模型中的事实性知识
计算与语言
2021-09-10 v2 人工智能
机器学习
摘要
在预训练期间获取并存储在语言模型(LMs)参数中的事实性知识可用于下游任务(例如问答或文本推理)。然而,某些事实可能被错误诱导或随时间变得过时。我们提出 KnowledgeEditor,一种可用于编辑此类知识从而修复“错误”或意外预测的方法,且无需昂贵的重新训练或微调。除了计算高效外,KnowledgeEditor 不需要对 LM 预训练做任何修改(例如使用元学习)。在我们的方法中,我们训练一个带约束优化的超网络(hyper-network)来修改某个事实而不影响其余知识;随后该训练好的超网络用于在测试时预测权重更新。我们用两种流行架构和知识密集型任务展示了 KnowledgeEditor 的有效性:i) 用于事实核查的微调 BERT 模型,以及 ii) 用于问答的序列到序列 BART 模型。使用我们的方法,改变对某一查询特定措辞的预测往往也会使其改写表述的预测发生一致变化。我们表明,通过在训练期间利用(例如自动生成的)改写表述可进一步促进这一点。有趣的是,我们的超网络可被视为一个“探针”,揭示需要修改哪些组件来操纵事实性知识;我们的分析表明,更新往往集中在少量组件子集上。源代码见 https://github.com/nicola-decao/KnowledgeEditor
引用
@article{arxiv.2104.08164,
title = {Editing Factual Knowledge in Language Models},
author = {Nicola De Cao and Wilker Aziz and Ivan Titov},
journal= {arXiv preprint arXiv:2104.08164},
year = {2021}
}
备注
Accepted at EMNLP2021 Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing. Code at https://github.com/nicola-decao/KnowledgeEditor . 16 pages, 6 figures, 2 tables