SOLAR：面向Once-for-All训练的可切换输出层以提升准确率与鲁棒性
机器学习
2025-09-23 v1 计算机视觉与模式识别
摘要
Once-for-All（OFA）训练使单个超级网络能够生成针对不同部署场景定制的多个子网络，支持在准确率、鲁棒性和模型规模之间进行灵活权衡，而无需重新训练。然而，随着支持子网络数量的增加，背板中的参数共享过度限制了表征能力，导致校准恶化和整体性能下降。为此，我们提出了SOLAR（Switchable Output Layer for Accuracy and Robustness in Once-for-All Training），一种简单而有效的技术，为每个子网络分配独立的分类头。通过在子网络之间解耦logit学习过程，Switchable Output Layer（SOL）减少了表征干扰并改进了优化，而无需修改共享的背板。我们在五个数据集（SVHN、CIFAR-10、STL-10、CIFAR-100和TinyImageNet）上使用四个超级网络背板（ResNet-34、WideResNet-16-8、WideResNet-40-2和MobileNetV2）进行评估，分别使用四个OFA训练框架（OATS和SNNs）。实验表明，SOLAR优于基线方法：相较于OATS，它在SVHN、CIFAR-10、STL-10和CIFAR-100上的子网络准确率分别提高了最高可达1.26%、4.71%、1.67%和1.76%，鲁棒性提高了最高可达9.01%、7.71%、2.72%和1.26%。相较于SNNs，它在SVHN、CIFAR-10、STL-10和CIFAR-100上的子网络准确率分别提高了最高可达9.01%、7.71%、2.72%和1.26%。
引用
@article{arxiv.2509.16833,
title = {SOLAR: Switchable Output Layer for Accuracy and Robustness in Once-for-All Training},
author = {Shaharyar Ahmed Khan Tareen and Lei Fan and Xiaojing Yuan and Qin Lin and Bin Hu},
journal= {arXiv preprint arXiv:2509.16833},
year = {2025}
}
备注
10 pages, 7 figures, 6 tables