全连接层在低数据场景下的惊人有效性

卷积神经网络曾是解决许多计算机视觉任务的标准方法，直到最近，基于 Transformer 或 MLP 的架构开始展现出有竞争力的性能。这些架构通常具有海量权重，需要在大规模数据集上训练；因此，它们不适用于低数据场景。在这项工作中，我们提出了一个简单而有效的框架，以改进从小量数据中的泛化能力。我们用全连接（FC）层增强现代 CNN，并展示了这一架构改变在低数据场景下的巨大影响。我们进一步提出了一种在线联合知识蒸馏方法，在训练时利用额外的 FC 层，但在测试时避免使用它们。这使我们能够提升基于 CNN 的模型的泛化能力，而在测试时权重数量无任何增加。我们在有监督学习和主动学习下，对大量网络骨干和多个标准数据集进行了分类实验。我们的实验显著优于无全连接层的网络，在有监督设定下达到了高达 $16\%$ 验证准确率的相对提升，且在推理时未添加任何额外参数。