神经网络知识编辑综述

深度神经网络在学术界和工业界日益普及，在广泛领域及相关任务上匹配并超越人类表现。然而，正如人类一样，即使最大的人工神经网络也会犯错，并且随着时间推移，曾经正确的预测也可能失效。用涵盖错误或过时信息的样本扩充数据集已成为实际应用中的常见权宜之计。然而，著名的灾难性遗忘现象对在神经网络参数中隐式记忆知识的精确修改提出了挑战，常需完整重训练模型以实现期望行为。这代价高昂、不可靠且与当前大规模自监督预训练趋势不兼容，使得有必要寻找更高效有效的方法使神经网络模型适应变化的数据。为满足此需求，知识编辑正作为一个新兴研究领域出现，旨在对预训练目标模型实现可靠、数据高效且快速的改变，而不影响其在先前学习任务上的行为。本综述对该人工智能新兴研究领域作简要回顾。我们首先介绍神经网络编辑问题，在通用框架中形式化并区别于持续学习等更知名的研分支。接着，我们回顾迄今提出的最相关知识编辑方法与数据集，将工作归为四类：正则化技术、元学习、直接模型编辑和架构策略。最后，我们概述与其他研究领域的交叉及未来工作的潜在方向。