RefConv：面向强大卷积网络的重参数化重聚焦卷积
计算机视觉与模式识别
2023-10-17 v1 机器学习
摘要
我们提出重参数化重聚焦卷积（RefConv）作为常规卷积层的替代，其是一种即插即用模块，可在不引入任何推理成本的情况下提升性能。具体而言，给定预训练模型，RefConv 对从预训练模型继承的基核施加可训练的重聚焦变换，以建立参数间的关联。例如，深度可分离 RefConv 可将卷积核某一特定通道的参数与其他核的参数相关联，即使其重聚焦于模型其他从未关注的部分，而非仅聚焦于输入特征。从另一视角看，RefConv 通过利用预训练参数中编码的表征作为先验并对其进行重聚焦以学习新表征，从而增强了现有模型结构的先验，进而提升了预训练模型的表征能力。实验结果验证 RefConv 可在图像分类（ImageNet 上 top-1 准确率最高提升 1.47%）、目标检测与语义分割上以明显幅度改进多个基于 CNN 的模型，且不引入额外推理成本或改变原模型结构。进一步研究表明 RefConv 能降低通道冗余并平滑损失景观，这解释了其有效性。
引用
@article{arxiv.2310.10563,
title = {RefConv: Re-parameterized Refocusing Convolution for Powerful ConvNets},
author = {Zhicheng Cai and Xiaohan Ding and Qiu Shen and Xun Cao},
journal= {arXiv preprint arXiv:2310.10563},
year = {2023}
}