可编辑图神经网络训练的梯度重构方法

深度神经网络在计算机视觉、自然语言处理和图分析等众多应用中被广泛采用。然而，部署后随着世界变化，经过训练的神经网络可能会产生预测错误。模型编辑涉及更新基础模型以纠正预测错误，但往往缺乏可访问的训练数据和计算资源。在计算机视觉和自然语言处理等领域，近期关于模型编辑的进展有限，针对图神经网络（GNN）的可编辑训练研究更是寡言。GNN 可编辑训练的挑战在于其固有的邻居信息聚合，可能导致模型编辑意外影响其他节点的预测。在本文中，我们首先观察到目标节点和训练节点交叉熵损失梯度存在显著不一致，这表明直接使用目标节点损失对基础模型进行微调会损害训练节点的性能。基于梯度不一致的观察，我们提出了一种简单而有效的梯度重构方法，用于可编辑图神经网络训练，称为 Gradient Rewiring（GRE）。具体而言，我们首先存储训练节点损失梯度的锚点梯度，以保留局部性。随后，我们重构目标节点损失的梯度，以保留训练节点的性能。实验表明 GRE 在 various model architectures 和 graph datasets 上均有效，适用于多种编辑情境。源码已发布于 https://github.com/zhimengj0326/Gradient_rewiring_editing。