图插值激活在数据高效深度学习中提升自然准确率与鲁棒准确率

提升深度神经网络（DNNs）的准确率与鲁棒性并使其适应小训练数据，是深度学习研究的主要任务。在本文中，我们将 DNNs 的输出激活函数（通常是与数据无关 softmax 函数）替换为基于图 Laplacian 的高维插值函数，该函数在连续极限下收敛于高维流形上 Laplace-Beltrami 方程的解。此外，我们为这一新架构提出了端到端的训练与测试算法。所提出的带图插值激活的 DNN 融合了深度学习与流形学习的优势。与以 softmax 函数为输出激活的常规 DNNs 相比，新框架展现出以下主要优势：首先，它更适用于数据高效学习，即我们在不使用大量训练数据的情况下训练高容量 DNNs。其次，它显著提升了干净图像上的自然准确率以及由白盒与黑盒对抗攻击生成的对抗图像上的鲁棒准确率。第三，它是半监督学习的自然选择。为可复现性，代码见 \url{https://github.com/BaoWangMath/DNN-DataDependentActivation}。