利用深度图改进视觉关系检测
计算机视觉与模式识别
2020-10-20 v4 人工智能
摘要
视觉关系检测方法依赖于从 RGB 图像中提取的目标信息，如 2D 边界框、特征图和预测的类别概率。我们认为深度图还可以提供关于目标关系的有价值信息，例如不仅有助于检测空间关系（如站在后面），还有助于检测非空间关系（如握持）。在本工作中，我们研究了使用不同目标特征的效果，重点关注深度图。为了实现这项研究，我们发布了一个新的深度图合成数据集 VG-Depth，作为 Visual Genome (VG) 的扩展。我们还注意到，鉴于 VG 中关系分布的高度不平衡，视觉关系检测的典型评估指标无法揭示代表性不足的关系的改进。为了解决这个问题，我们提出使用一个额外的指标，称为 Macro Recall@K，并展示了其在 VG 上的卓越性能。最后，我们的实验证实，通过在一个简单但具有竞争力的框架内有效利用深度图，视觉关系检测的性能可以提升高达 8%。
引用
@article{arxiv.1905.00966,
title = {Improving Visual Relation Detection using Depth Maps},
author = {Sahand Sharifzadeh and Sina Moayed Baharlou and Max Berrendorf and Rajat Koner and Volker Tresp},
journal= {arXiv preprint arXiv:1905.00966},
year = {2020}
}
备注
International Conference on Pattern Recognition 2020