桌上的钱：Softmax忽略的统计信息可提升分类器准确率

Softmax是神经网络（NNs）中用于总结训练好的NN所编码信息并返回预测的标准最终层。然而，Softmax仅利用了训练模型中编码的类特定结构的一个子集，并忽略了潜在有价值的信息：在训练期间，模型编码一个类响应分布数组$D$，其中$D_{ij}$是第$j$个Softmax前读出神经元对第$i$类的响应的分布。给定测试样本，Softmax隐式地仅使用该数组$D$中对应于读出神经元对样本真实类响应的行。利用该数组$D$的更多内容可以提高分类器准确率，因为两个竞争类的可能性可编码在$D$的其他行中。为探索这一潜在资源，我们开发了一种混合分类器（Softmax-池化混合，$SPH$），其对高得分样本使用Softmax，而对低得分样本使用一种从完整数组$D$中汇集信息的对数似然方法。我们将$SPH$应用于在向量化MNIST数据集上训练至不同准确率水平的模型。$SPH$仅在测试时替换训练好的NN中的最终Softmax层。所有训练与Softmax相同。由于池化分类器在低得分样本上表现优于Softmax，$SPH$使用完全相同的训练模型，无论基线Softmax准确率如何，都将测试集误差降低了6%至23%。这种误差的降低反映了训练好的NN中被Softmax遗留未用的隐藏容量。