场景图的概率去偏
计算机视觉与模式识别
2023-03-16 v2
摘要
由于关系及其父对象对的长尾特性,最先进(SOTA)模型生成的场景图质量受到影响。场景图的训练由多数对象对中的多数关系主导,因此,在训练收敛后,少数对象对中关系的对象条件分布未被保留。 Consequently,有偏模型在边际关系分布中更频繁的关系(如"on"和"wearing")上表现良好,而在较少频繁的关系(如"eating"或"hanging from")上表现不佳。在这项工作中,我们提出在三元组内融入虚拟证据的贝叶斯网络(BN),以保留关系标签的对象条件分布,并消除由关系边际概率产生的偏置。少数类中关系数量不足给学习三元组内贝叶斯网络带来了显著问题。我们通过基于嵌入的三元组增强来解决这一不足,即从语义空间中其邻域三元组借用少数三元类样本。我们在两个不同数据集上进行实验,在关系的平均召回率上取得了显著改进。与 SOTA 的场景图模型去偏技术相比,我们还实现了召回率与平均召回率表现之间更好的平衡。
引用
@article{arxiv.2211.06444,
title = {Probabilistic Debiasing of Scene Graphs},
author = {Bashirul Azam Biswas and Qiang Ji},
journal= {arXiv preprint arXiv:2211.06444},
year = {2023}
}
备注
Accepted at CVPR 2023. Code available at https://github.com/bashirulazam/within-triplet-debias