基于低秩非负张量分解的视觉关系检测
计算机视觉与模式识别
2019-11-25 v1 机器学习
摘要
我们解决了视觉关系检测（VRD）问题，其旨在以（主体，谓词，客体）三元组的形式描述成对对象之间的关系。我们观察到，给定一对边界框提议，对象往往参与多种关系，这意味着三元组的分布是多模态的。我们利用三元组内的强相关性来学习以图像和边界框提议为条件的三元组变量的联合分布，从而摒弃了迄今所使用的三元组独立分布。为使学习三元组联合分布可行，我们引入了一种新技术，以归一化低秩非负张量分解的形式学习条件三元组分布。归一化张量分解呈离散变量的混合分布形式，因此能够捕捉多模态性。这使我们能够高效学习高阶离散多模态分布，同时保持参数规模可控。我们进一步对选择对象提议对的概率进行建模，并在模型中引入关系三元组先验。我们表明模型的每个部分都提升了性能，且组合在 Visual Genome（VG）和 Visual Relationship Detection（VRD）数据集上优于最先进的分数。
引用
@article{arxiv.1911.09895,
title = {Visual Relationship Detection with Low Rank Non-Negative Tensor Decomposition},
author = {Mohammed Haroon Dupty and Zhen Zhang and Wee Sun Lee},
journal= {arXiv preprint arXiv:1911.09895},
year = {2019}
}