用于目标检测的尺度均衡金字塔卷积
计算机视觉与模式识别
2020-05-08 v1
摘要
特征金字塔一直是提取不同尺度特征的高效方法。该方法的发展主要集中于聚合不同层级的上下文信息，却很少触及特征金字塔中的层间关联。早期的计算机视觉方法通过在空间和尺度维度上定位特征极值来提取尺度不变特征。受此启发，本研究提出了一种跨金字塔层级的卷积，称为金字塔卷积，是一种改进的 3-D 卷积。堆叠的金字塔卷积直接提取 3-D（尺度与空间）特征，并优于其他精心设计的特征融合模块。基于 3-D 卷积的视角，在金字塔卷积之后自然地插入了从整个特征金字塔收集统计量的集成批归一化。此外，我们还表明，朴素金字塔卷积与 RetinaNet 头部的设计相结合，实际上最适用于从高斯金字塔中提取特征，而特征金字塔很难满足其性质。为缓解这一差异，我们构建了尺度均衡金字塔卷积（SEPC），其仅在高层级特征图上对齐共享的金字塔卷积核。SEPC 模块计算高效且与大多数单阶段目标检测器的头部设计兼容，在最先进的单阶段目标检测器中带来了显著的性能提升（在 MS-COCO2017 数据集上 AP 提升 >4），且 SEPC 的轻量版本仅增加约 7% 的推理时间便也取得了 ∼3.5 AP 的收益。金字塔卷积作为独立模块在双阶段目标检测器中同样表现良好，能够将性能提升约 2 AP。源代码见 https://github.com/jshilong/SEPC。
引用
@article{arxiv.2005.03101,
title = {Scale-Equalizing Pyramid Convolution for Object Detection},
author = {Xinjiang Wang and Shilong Zhang and Zhuoran Yu and Litong Feng and Wayne Zhang},
journal= {arXiv preprint arXiv:2005.03101},
year = {2020}
}
备注
Accepted by CVPR2020