基于超小型卷积神经网络的红外目标检测：ImageNet 预训练仍有用吗？

许多现实世界的应用要求识别模型在不同操作条件和模态下具有鲁棒性，同时能在硬件受限的小型嵌入式设备上运行。对于常规尺寸的模型，已知预训练在准确性和鲁棒性方面非常有益；但对于可用于嵌入式和边缘设备的小型模型，其效果尚不明确。在本工作中，我们研究了 ImageNet 预训练对越来越小的骨干架构（参数量少于 1M 的超小型模型）在红外视觉模态下游目标检测任务鲁棒性方面的影响。利用从标准目标识别架构推导出的缩放规律，我们构建了两个超小型骨干网络族，并系统地研究了它们的性能。我们在三个不同数据集上的实验表明，虽然 ImageNet 预训练仍然有用，但超过一定容量阈值后，它在分布外检测鲁棒性方面带来的收益会递减。因此，我们建议从业者仍使用预训练，并尽可能避免使用过小的模型，因为虽然它们在领域内问题上可能表现良好，但在工作条件发生变化时会变得脆弱。