流形正则化判别神经网络

未正则化的深度神经网络（DNN）在样本量有限时很容易过拟合。我们认为这主要是由于 DNN 的判别性质，即直接对给定输入下标签的条件概率（或得分）进行建模。对输入分布的忽视使得 DNN 难以泛化到未见数据。正则化技术的最新进展（如预训练和 dropout）表明，对输入数据分布进行建模（显式或隐式）可极大提高 DNN 的泛化能力。在本工作中，我们探索了流形假设，即假设同一类内的实例位于光滑流形上。我们据此为标准判别 DNN 提出了两个简单的正则化器。第一个名为标签感知流形正则化，假设标签可用并惩罚损失函数关于数据点的大范数。第二个名为标签无关流形正则化，不使用标签信息，而是惩罚预测得分关于数据点的 Jacobian 矩阵的 Frobenius 范数，这使得半监督学习成为可能。我们使用 MNIST、CIFAR10 和 SVHN 数据集在完全监督和半监督任务上进行了大量对照实验，并取得了优异的结果。