CARAFE：内容感知的特征重组
计算机视觉与模式识别
2019-10-30 v3
摘要
特征上采样是许多现代卷积网络架构（如特征金字塔）中的关键操作。其设计对目标检测与语义/实例分割等密集预测任务至关重要。本工作中，我们提出内容感知的特征重组（CARAFE），一种通用、轻量且高效的算子来实现该目标。CARAFE 具有若干引人注目的特性：（1）大感受野。与先前仅利用亚像素邻域的工作（如双线性插值）不同，CARAFE 可在大 receptive field（感受野）内聚合上下文信息。（2）内容感知处理。与使用对所有样本固定的核（如反卷积）不同，CARAFE 实现实例特定的内容感知处理，即时生成自适应核。（3）轻量且计算快速。CARAFE 引入极少计算开销，并可轻松集成至现代网络架构。我们在目标检测、实例/语义分割与修复的标准基准上进行了全面评估。CARAFE 在所有任务上均展现出一致且显著的增益（分别为 1.2%、1.3%、1.8%、1.1db），且计算开销可忽略。它极有潜力作为未来研究的强大构建模块。代码与模型可在 https://github.com/open-mmlab/mmdetection 获取。
引用
@article{arxiv.1905.02188,
title = {CARAFE: Content-Aware ReAssembly of FEatures},
author = {Jiaqi Wang and Kai Chen and Rui Xu and Ziwei Liu and Chen Change Loy and Dahua Lin},
journal= {arXiv preprint arXiv:1905.02188},
year = {2019}
}
备注
ICCV 2019 Camera Ready (Oral)