Auto-Context R-CNN

基于区域的卷积神经网络（R-CNN）~\cite{fast_rcnn,faster_rcnn,mask_rcnn} 在很大程度上主导了目标检测。定义在 RoI（感兴趣区域）上的算子（如 RoIPooling~\cite{fast_rcnn} 和 RoIAlign~\cite{mask_rcnn}）在 R-CNN 中起着重要作用。即使在其近期的可变形扩展~\cite{deformable_cnn} 中，它们也都仅利用 RoI 内部的信息进行 RoI 预测。尽管周围上下文在目标检测中的重要性已广为人知，但它尚未以灵活且有效的方式集成到 R-CNN 中。受 auto-context 工作~\cite{auto_context} 和多类目标布局工作~\cite{nms_context} 的启发，本文提出了一种无缝集成于 R-CNN 中的通用上下文挖掘 RoI 算子（即 \textit{RoICtxMining}），由此得到的目标检测系统被称为 \textbf{Auto-Context R-CNN}，其以端到端方式训练。所提出的 RoICtxMining 算子是 RoIPooling 或 RoIAlign 算子的一个简单而有效的两层扩展。它以一个目标-RoI 为中心，创建一个 $3\times 3$ 布局，在 $8$ 个周围上下文区域中自适应地挖掘上下文信息。在 $8$ 个上下文区域中的每一个中，根据判别能力挖掘一个上下文-RoI，并将其 RoIPooling / RoIAlign 特征与目标-RoI 拼接用于最终预测。\textit{所提出的 Auto-Context R-CNN 对遮挡和小目标具有鲁棒性，并且在不进行对抗训练的情况下对对抗攻击表现出一定的脆弱性。} 在实验中，它以 RoIPooling 为骨干进行评估，并在 Pascal VOC、Microsoft COCO 和 KITTI 数据集上展示了有竞争力的结果（包括在 COCO \textit{test-dev} 数据集上比 R-FCN~\cite{rfcn} 方法提升 $6.9\%$ mAP，以及在本投稿时在 KITTI 行人和 cyclist 检测上均获第一名）。