更新的轻量级CNN在资源约束下是否表现更好？架构、初始化、训练预算和效率的受控多代研究

更新的轻量级卷积神经网络通常被宣称能提高预测性能和部署效率，但此类声明需要受控评估。本研究在共享的下游协议下，比较了CIFAR-10、CIFAR-100和Tiny ImageNet上的九个轻量级CNN模型包。我们报告了top-1准确率、宏F1、top-5准确率、参数数量、FP32存储、GMACs、在NVIDIA L4和AMD Ryzen 5 5500U CPU上的batch-size-1延迟、PyTorch CUDA峰值分配张量内存以及点估计Pareto前沿。EfficientNetV2-S在CIFAR-10和CIFAR-100上达到了最高的观测top-1准确率，分别为97.57%和86.98%，而RepViT-M1.0在Tiny ImageNet上以79.87%领先。EfficientNet-B0在三个数据集上分别保持在最佳结果的0.22、0.85和1.79个百分点以内，同时使用的参数比EfficientNetV2-S少约79%，GMACs少86%。它出现在每个评估的准确率和资源Pareto前沿上，使其成为最具竞争力的中间预算选项。MobileNetV3-Small的GMAC计数最低，在两种CPU线程设置下都是最快的模型，并且在所有三个数据集上记录的观测准确率都高于MobileNetV4-Conv-S。在随机初始化下，它领先MobileNetV4-Conv-S 2.55、1.76和0.99个百分点，配对测试集区间排除了固定训练模型的零值。EfficientNet-B0在100个epoch的从头训练后，仍比其预训练对应模型低3.29、10.10和17.54个百分点，尽管所需的记录训练时间约为其五倍。SqueezeNet1.1的参数数量和峰值CUDA分配最低，但准确率明显较弱。延迟排名在L4和CPU环境之间差异很大，表明仅靠GMACs无法预测实测推理性能。总体而言，更新的设计提供的是选择性而非普遍性的改进。