RRR-Net：重用、缩减与回收深度骨干网络
机器学习
2023-10-03 v1
摘要
在计算机视觉及其他机器学习领域中，重用大规模数据集上预训练的骨干网络作为预处理器已成为主流。通常，最后一层被替换为某种浅层学习机；新添加的分类头与（可选的）更深层级在新任务上进行微调。因其强劲性能与简洁性，ResNet152 是一种常用的预训练骨干网络。然而，ResNet152 相对较大并带来推理延迟。在许多情况下，具有相似性能但紧凑高效的骨干网络优于更大更慢的骨干网络。本文研究重用预训练骨干网络以构建更小更快模型的技术。从 ImageNet 上预训练的大型 ResNet152 骨干网络出发，我们首先将其从 51 个块缩减至 5 个块，参数量与 FLOPs 减少逾 6 倍，且性能无显著下降。随后，我们在 3 个块之后将模型拆分为若干分支，同时保持相同参数量与 FLOPs，以构建子网络集成从而提升性能。我们在来自不同领域的 个图像分类数据集的大规模基准上的实验表明，我们的技术在匹配（甚至优于）“经典骨干微调”性能的同时，实现了更小的模型规模与更快的推理速度。
引用
@article{arxiv.2310.01157,
title = {RRR-Net: Reusing, Reducing, and Recycling a Deep Backbone Network},
author = {Haozhe Sun and Isabelle Guyon and Felix Mohr and Hedi Tabia},
journal= {arXiv preprint arXiv:2310.01157},
year = {2023}
}