CARAFE++：统一的内容感知特征重组
计算机视觉与模式识别
2020-12-10 v1
摘要
特征重组，即特征下采样与上采样，是许多现代卷积网络架构（如残差网络和特征金字塔）中的关键操作。其设计对于目标检测和语义/实例分割等密集预测任务至关重要。在本工作中，我们提出统一的内容感知特征重组（CARAFE++），一种通用、轻量且高效的算子来实现这一目标。CARAFE++具有若干引人注目的特性：（1）与仅利用亚像素邻域的传统方法（如池化和插值）不同，CARAFE++在大感受野内聚合上下文信息。（2）与使用对所有样本固定的核（如卷积和反卷积）不同，CARAFE++动态生成自适应核，以实现特定实例的内容感知处理。（3）CARAFE++引入极少的计算开销，并可轻松集成到现代网络架构中。我们在目标检测、实例/语义分割和图像修复的标准基准上进行了全面评估。CARAFE++在所有任务上均展现出持续且显著的增益（分别为2.5% APbox、2.1% APmask、1.94% mIoU、1.35 dB），且计算开销可忽略不计。它显示出作为现代深度网络强大构建模块的巨大潜力。
引用
@article{arxiv.2012.04733,
title = {CARAFE++: Unified Content-Aware ReAssembly of FEatures},
author = {Jiaqi Wang and Kai Chen and Rui Xu and Ziwei Liu and Chen Change Loy and Dahua Lin},
journal= {arXiv preprint arXiv:2012.04733},
year = {2020}
}
备注
Technical Report. Extended journal version of the conference paper that appeared as arXiv:1905.02188