目标检测中用于上下文推理的空间记忆

建模实例级上下文与物体-物体关系极具挑战性。它需要对不同类别、位置等的边界框进行推理。最重要的是，实例级空间推理本质上需要对先前检测结果上的条件分布进行建模。不幸的是，我们当前的目标检测系统没有任何记忆来记住以什么为条件！最先进的目标检测器仍然并行检测所有物体，随后进行非极大抑制（NMS）。虽然记忆已被用于图像描述等任务，但它们大多使用图像级记忆单元，而未捕获空间布局。另一方面，建模物体-物体关系需要空间推理——我们不仅需要记忆来存储空间布局，还需要一个有效的推理模块来提取空间模式。本文提出了一种概念上简单但强大的解决方案——空间记忆网络（Spatial Memory Network, SMN），以高效且有效地建模实例级上下文。我们的空间记忆本质上将物体实例重新组装为伪“图像”表示，易于输入另一个卷积网络（ConvNet）以进行物体-物体上下文推理。这导致了一种新的顺序推理架构，其中图像与记忆并行处理以获得检测结果，进而再次更新记忆。我们表明我们的SMN方向是有前景的，因为它目前在COCO数据集上比基线Faster RCNN提供了2.2%的提升。