用于小目标检测的高效由粗到细非局部模块

图像不仅仅是目标的集合，而是一个图，其中每个目标通过空间和语义关系与其他目标相关联。因此，使用关系推理模块（如非局部模块 \cite{wang2017non}）可以改进目标检测。现有方案要么将此类专用模块应用于自底向上流的特定层，要么应用于已检测到的目标之间。我们表明，关系过程可以以由粗到细的方式更好地建模，并提出了一种新颖的框架，沿自顶向下流将非局部模块顺序应用于分辨率递增的特征图。这样，信息可以自然地从较大目标传递到较小的相关目标。将该模块应用于精细特征图进一步允许信息在小目标自身之间传递，利用同类实例的重复性。在实践中，由于非局部模块昂贵的内存占用，按当前用法将其应用于高分辨率特征图是不可行的。我们重新设计了非局部模块，在内存和操作次数方面进行了改进，使其可以放置在网络中的任何位置。我们进一步将相对空间信息以可纳入我们高效实现的方式整合进该模块。我们通过在 COCO 上将小目标检测结果相对于 Faster 和 Mask RCNN 提升 1-2 个 AP 点、相对于在自底向上流使用非局部模块提升 1 个 AP，展示了我们方案的有效性。