监督可扩展学习系统的设计：方法论与性能基准测试

本文研究在广泛监督程度下提供稳定性能的鲁棒学习系统设计。我们以图像分类问题为例，重点设计由三个学习模块组成的模块化系统：表示学习、特征学习和决策学习。我们讨论了调整每个模块的方法，使设计对不同训练样本数量具有鲁棒性。基于这些思路，我们提出了两类学习系统。一类采用经典的定向梯度直方图（HOG）特征，另一类使用逐次子空间学习（SSL）特征。我们在MNIST和Fashion-MNIST数据集上测试了它们与端到端优化的神经网络LeNet-5的性能对比。每类图像的训练样本数从极弱监督条件（即每类1个标记样本）逐步过渡到强监督条件（即每类4096个标记样本），中间以$2^n$（$n=0, 1, \cdots, 12$）渐变。实验结果表明，这两类模块化学习系统比LeNet-5具有更鲁棒的性能。它们在$n$较小时大幅优于LeNet-5，在$n$较大时性能与LeNet-5相当。