基于NMF的可解释神经网络构建模块及其持续学习

现有学习方法往往难以在可解释性与预测性能之间取得平衡。虽然最近邻和非负矩阵分解(NMF)等模型具有高度可解释性，但其在监督学习任务上的预测性能常常有限。相比之下，基于多层感知机(MLP)的神经网络支持模块化构建富有表现力的架构，且往往具有更好的识别准确率，但在可解释性方面常被视为黑箱。我们的方法旨在通过采用基于NMF的构建模块来更好地平衡这两个方面，该模块结合监督神经网络训练方法，在保持NMF良好可解释性的同时实现高预测性能。我们在小数据集上评估了我们的预测因子化耦合(PFC)模块，表明其在预测性能上与MLP相当，同时提供了更好的可解释性。我们在多种场景中展示了该方法的优势，例如持续学习、在非独立同分布(non-i.i.d.)数据上训练，以及训练后的知识移除。此外，我们给出了使用PFC模块构建更具表现力架构的示例，包括一个全连接残差网络，以及一个因子化循环神经网络(RNN)——该RNN在与原始RNN性能相当的同时提供了更好的可解释性。PFC模块使用一种收敛到不动点的迭代推断算法，使得训练后能够在准确率与计算量之间进行权衡，但也因此目前阻碍了其在某些场景（如超大数据集训练）中作为通用MLP替代方案的使用。我们在 https://github.com/bkvogel/pfc 提供了源代码。