探索未确定关系在视觉关系检测中的作用
计算机视觉与模式识别
2019-05-07 v1 机器学习
摘要
在视觉关系检测中，人工标注的关系可视为确定关系。然而仍存在大量未标注数据，例如关系较弱甚至无关系的物体对。我们将这些未标注但潜在有用的数据称为未确定关系。尽管已有大量文献，但极少有方法利用这些未确定关系进行视觉关系检测。本文探索未确定关系对视觉关系检测的有益效果。我们提出一种基于多模态特征的未确定关系学习网络（MF-URLN），并在关系检测上取得显著提升。具体而言，我们的 MF-URLN 依据设计的准则，通过将物体对与人工标注数据比较来自动生成未确定关系。随后，MF-URLN 从视觉、空间和语言三种互补模态中提取并融合物体对的特征。进一步，MF-URLN 提出两个相关联的子网络：一个子网络判定确定置信度，另一个预测关系。我们在两个数据集上评估 MF-URLN：视觉关系检测（VRD）和 Visual Genome（VG）数据集。与 SOTA 方法的实验结果验证了未确定关系带来的显著改进，例如在 VRD 数据集上 top-50 关系检测召回率从 19.5% 提升至 23.9%。
引用
@article{arxiv.1905.01595,
title = {On Exploring Undetermined Relationships for Visual Relationship Detection},
author = {Yibing Zhan and Jun Yu and Ting Yu and Dacheng Tao},
journal= {arXiv preprint arXiv:1905.01595},
year = {2019}
}