Beyond ImageNet: Understanding Cross-Dataset Robustness of Lightweight Vision Models

轻量级视觉分类模型如 MobileNet、ShuffleNet 和 EfficientNet 正在越来越多地部署在移动和嵌入式系统中，但其性能主要在 ImageNet 上进行基准测试。这引发了关键问题：在 ImageNet 上表现卓越的模型是否也能在其他领域中泛化？如何系统地量化跨数据集的鲁棒性？在资源受限的情况下，哪些架构元素持续推动泛化？本文提出了对 11 个轻量级视觉模型（参数为 2.5M）进行首次系统评估，这些模型在固定的 100 个 epoch 训练计划下，跨越 7 个多样化数据集。我们引入了交叉数据集得分（xScore），这是一种统一的度量标准，用于量化模型在不同视觉领域中性能的一致性和鲁棒性。我们的结果表明：（1）ImageNet 准确率不可靠地预测在细粒度或医学数据集上的性能；（2）xScore 提供了一种可扩展的移动模型性能预测器，可以仅从四个数据集中进行估计；（3）某些架构组件——例如具有更高空间分辨率的各向同性卷积和通道注意力——促进更广泛的泛化，而变换器模块虽然增加了参数开销，却几乎没有提供额外的好处。该研究为评估 ImageNet 之外的轻量级视觉模型提供了可复现的框架，突显了面向移动设备的架构的关键设计原则，并指导了未来能够在 diverse 应用领域中实现稳健泛化的模型的开发。