轻量化CARAFE：基于引导重组核的动态轻量级上采样
计算机视觉与模式识别
2024-10-30 v1
摘要
作为现代机器视觉模型中的一项基本操作，特征上采样已在文献中得到广泛应用和研究。理想的上采样操作应轻量且计算复杂度低，即既能提升整体性能，又不影响模型复杂度。内容感知特征重组（CARAFE）是一种精心设计的可学习操作，用于实现特征上采样。尽管该方法取得了令人鼓舞的性能，但它需要生成大规模核，这带来了大量额外的冗余参数，并且其本身的可扩展性有限。为此，本文提出了一种轻量级上采样操作，称为动态轻量级上采样（DLU）。具体而言，它首先构建一个小尺度源核空间，然后通过引入可学习的引导偏移量从该核空间中采样出大尺度核，从而避免了在上采样中引入大量可训练参数。在多个主流视觉任务上的实验表明，我们的DLU取得了与原始CARAFE相当甚至更好的性能，但复杂度显著降低。例如，在16倍上采样情况下，DLU所需的参数量比CARAFE少91%，浮点运算次数（FLOPs）至少减少63%，但在目标检测任务中，mAP却比CARAFE高出0.3%。代码见 https://github.com/Fu0511/Dynamic-Lightweight-Upsampling。
引用
@article{arxiv.2410.22139,
title = {Lighten CARAFE: Dynamic Lightweight Upsampling with Guided Reassemble Kernels},
author = {Ruigang Fu and Qingyong Hu and Xiaohu Dong and Yinghui Gao and Biao Li and Ping Zhong},
journal= {arXiv preprint arXiv:2410.22139},
year = {2024}
}
备注
Accepted at ICPR 2024