用梯度回滚解释神经矩阵分解

解释神经黑盒模型的预测是一个重要问题，尤其当此类模型用于用户信任至关重要的应用时。估计训练样本对所学神经模型行为的影响，使我们能够识别对给定预测最负责任的训练样本，从而忠实解释黑盒模型的输出。现有最普遍适用的方法基于影响函数，其在较大样本量和模型下可扩展性差。我们提出梯度回滚，一种用于影响估计的通用方法，适用于每个梯度下降参数更新步仅触及较少参数（即便参数总量很大）的神经模型。以梯度下降训练的神经矩阵分解模型属于此类模型。这些模型广受欢迎，已在工业界获得广泛应用。特别是属于此类知识图谱嵌入方法被大量使用。我们证明梯度回滚在训练与测试时均高效。此外，我们从理论上证明梯度回滚的影响近似与对模型行为的真实影响之差小于随机梯度下降稳定性的已知界。这确立了梯度回滚对样本影响的鲁棒估计。我们还进行了实验，表明梯度回滚为知识库补全和推荐数据集提供了忠实解释。