中文

场景图的概率去偏

计算机视觉与模式识别 2023-03-16 v2

摘要

由于关系及其父对象对的长尾特性,最先进(SOTA)模型生成的场景图质量受到影响。场景图的训练由多数对象对中的多数关系主导,因此,在训练收敛后,少数对象对中关系的对象条件分布未被保留。 Consequently,有偏模型在边际关系分布中更频繁的关系(如"on"和"wearing")上表现良好,而在较少频繁的关系(如"eating"或"hanging from")上表现不佳。在这项工作中,我们提出在三元组内融入虚拟证据的贝叶斯网络(BN),以保留关系标签的对象条件分布,并消除由关系边际概率产生的偏置。少数类中关系数量不足给学习三元组内贝叶斯网络带来了显著问题。我们通过基于嵌入的三元组增强来解决这一不足,即从语义空间中其邻域三元组借用少数三元类样本。我们在两个不同数据集上进行实验,在关系的平均召回率上取得了显著改进。与 SOTA 的场景图模型去偏技术相比,我们还实现了召回率与平均召回率表现之间更好的平衡。

关键词

引用

@article{arxiv.2211.06444,
  title  = {Probabilistic Debiasing of Scene Graphs},
  author = {Bashirul Azam Biswas and Qiang Ji},
  journal= {arXiv preprint arXiv:2211.06444},
  year   = {2023}
}

备注

Accepted at CVPR 2023. Code available at https://github.com/bashirulazam/within-triplet-debias