FastBoost：面向高效深度学习的渐进注意力动态标度
计算机视觉与模式识别
2025-11-04 v1
摘要
我们提出FastBoost，这是一种参数高效的神经网络架构，通过一种新颖的动态比例渐进注意力 (DSPA) 机制，在 CIFAR 基准上实现了最先进的性能。我们的设计在效率方面树立了新的标杆：CIFAR-10：95.57% 准确率（0.85M 参数）和 93.80%（0.37M 参数）CIFAR-100：81.37% 准确率（0.92M 参数）和 74.85%（0.44M 参数）。这一突破源于 DSPA 中的三个根本性创新：（1）自适应融合：带动态权重的可学习通道-空间注意力融合。（2）相位标度：训练阶段感知的强度调制（从 0.5 到 1.0）。（3）残差适应：自优化的跳跃连接（gamma 从 0.5 到 0.72）。通过将 DSPA 与增强的 MBConv 块集成，FastBoost 在 CIFAR-10 上实现了比 MobileNetV3 低 2.1 倍参数，同时将准确率提高了 3.2 个百分点。该架构具有双注意力路径，实时权重调整，级联细化层（梯度流增加 12.7%），以及硬件友好型设计（0.28G FLOPs）。这种动态注意力和高效卷积操作的共同优化，展示了前所未有的 参数-精度权衡，使其能够在不牺牲准确率的情况下部署到资源受限的边缘设备。
引用
@article{arxiv.2511.01026,
title = {FastBoost: Progressive Attention with Dynamic Scaling for Efficient Deep Learning},
author = {JunXi Yuan},
journal= {arXiv preprint arXiv:2511.01026},
year = {2025}
}
备注
17pages , 10figures , 12tables