克服视觉关系检测中的假阳性
计算机视觉与模式识别
2020-12-25 v2 机器学习
摘要
本文研究了视觉关系检测（Visual Relationship Detection, VRD）中假阳性率高的原因。我们观察到在训练过程中，关系提议分布高度不平衡：大多数负关系提议易于识别，例如不准确的物体检测，这导致低频困难提议欠拟合。本文提出空间感知平衡负提议采样（Spatially-Aware Balanced negative pRoposal sAmpling, SABRA），一种缓解假阳性影响的鲁棒 VRD 框架。为在不平衡分布下有效优化模型，SABRA 采用平衡负提议采样（Balanced Negative Proposal Sampling, BNPS）策略进行小批量采样。BNPS 将提议划分为 5 个明确子类，并根据逆频率生成平衡的训练分布。BNPS 提供了更简便的优化图景并显著减少假阳性数量。为进一步解决具有高空域模糊性的低频困难假阳性提议，我们从两方面提升 SABRA 的空间建模能力：一个简单高效的多头异构图注意力网络（multi-head heterogeneous graph attention network, MH-GAT）用于建模物体的全局空间交互，以及一个学习局部空间配置的空间掩码解码器。在两个人机交互（human-object interaction, HOI）数据集和一个通用 VRD 数据集上，SABRA 大幅优于 SOTA 方法。
引用
@article{arxiv.2012.12510,
title = {Towards Overcoming False Positives in Visual Relationship Detection},
author = {Daisheng Jin and Xiao Ma and Chongzhi Zhang and Yizhuo Zhou and Jiashu Tao and Mingyuan Zhang and Haiyu Zhao and Shuai Yi and Zhoujun Li and Xianglong Liu and Hongsheng Li},
journal= {arXiv preprint arXiv:2012.12510},
year = {2020}
}
备注
13 pages, 5 figures