在线卷积重参数化
计算机视觉与模式识别
2022-04-05 v1
摘要
结构重参数化在各种计算机视觉任务中引起了越来越多的关注。其旨在不引入任何推理时成本的情况下提升深度模型的性能。尽管在推理时高效，此类模型严重依赖复杂的训练时模块来实现高准确率，导致巨大的额外训练成本。在本文中，我们提出在线卷积重参数化（OREPA），一种两阶段流水线，旨在通过将给定的复杂训练时模块压缩为单个卷积来减少巨大的训练开销。为实现该目标，我们引入线性缩放层以更好地优化在线模块。借助降低的训练成本，我们还探索了一些更有效的重参数化组件。与最先进（SOTA）的重参数化模型相比，OREPA能够节省约70%的训练时内存成本，并将训练速度加速约2倍。同时，配备OREPA的模型在ImageNet上以最高+0.6%优于先前方法。我们还在目标检测和语义分割上进行了实验，并展示了在下游任务上的一致改进。代码可在 https://github.com/JUGGHM/OREPA_CVPR2022 获取。
引用
@article{arxiv.2204.00826,
title = {Online Convolutional Re-parameterization},
author = {Mu Hu and Junyi Feng and Jiashen Hua and Baisheng Lai and Jianqiang Huang and Xiaojin Gong and Xiansheng Hua},
journal= {arXiv preprint arXiv:2204.00826},
year = {2022}
}
备注
Accepted by CVPR 2022