利用自监督辅助场景图生成
计算机视觉与模式识别
2020-08-11 v1
摘要
场景图生成的研究在过去几年中迅速受到关注，因其有潜力助力视觉问答、图像描述等下游任务。已有许多有趣的方法被提出以解决该问题。这些工作大多使用预训练的目标检测模型作为初步特征提取器。因此，从目标检测模型获取目标边界框提议相对廉价。我们利用预训练检测器所产生的边界框标注的现成可用性。我们提出了一组三个新颖而简单的自监督任务，并将其作为辅助多任务训练于主模型。在对比中，我们从头训练带有这些自监督任务的基础模型，在所有指标和召回设定下均取得了 SOTA（state-of-the-art，最优）结果。我们还通过所提出的自监督损失训练模型，解决了几何关系与所属关系两类关系间的某些混淆。我们使用基准数据集 Visual Genome 进行实验并展示结果。
引用
@article{arxiv.2008.03555,
title = {Assisting Scene Graph Generation with Self-Supervision},
author = {Sandeep Inuganti and Vineeth N Balasubramanian},
journal= {arXiv preprint arXiv:2008.03555},
year = {2020}
}