PPR-FCN：基于并行成对 R-FCN 的弱监督视觉关系检测
计算机视觉与模式识别
2017-08-08 v1
摘要
我们旨在解决一项名为弱监督视觉关系检测（WSVRD）的新颖视觉任务，即在仅有图像级目标关系真值可用的情况下，检测图像中的“主语-谓语-宾语”关系。该任务的动机在于，在实例级标注目标之间的组合关系极其昂贵。与已被广泛研究的弱监督目标检测（WSOD）问题相比，WSVRD 更具挑战性，因为它需要检查大量区域对，这在计算上是不可行的，并且更容易陷入局部最优解，例如涉及错误空间上下文的解。为此，我们提出了一种用于 WSVRD 的并行、成对基于区域的、全卷积网络（PPR-FCN）。它使用并行 FCN 架构，同时执行单个区域和区域对的选择与分类以进行目标和关系检测，同时在整个图像上共享几乎所有计算。具体而言，我们提出了一种新颖的位置-角色敏感得分图结合成对 RoI 池化，以有效捕获与一对目标相关联的关键上下文。我们通过在两个视觉关系基准上的大量实验结果，证明了 PPR-FCN 在解决 WSVRD 挑战方面优于所有基线方法。
引用
@article{arxiv.1708.01956,
title = {PPR-FCN: Weakly Supervised Visual Relation Detection via Parallel Pairwise R-FCN},
author = {Hanwang Zhang and Zawlin Kyaw and Jinyang Yu and Shih-Fu Chang},
journal= {arXiv preprint arXiv:1708.01956},
year = {2017}
}
备注
To appear in International Conference on Computer Vision (ICCV) 2017, Venice, Italy