基于掩码边界框重建的视觉关系检测自监督学习
计算机视觉与模式识别
2023-11-09 v1
摘要
我们提出了一种新颖的用于表征学习的自监督方法，特别针对视觉关系检测（VRD）任务。受掩码图像建模（MIM）有效性的启发，我们提出了掩码边界框重建（MBBR），这是 MIM 的一种变体，其中场景内一定比例的实体/对象被掩码，随后基于未掩码的对象进行重建。其核心思想是，通过对象级掩码建模，网络学习到捕捉场景中对象交互的上下文感知表征，从而对视觉对象关系具有高度预测性。我们在少样本设定下从定性和定量两方面广泛评估了所学表征，并证明了 MBBR 在学习鲁棒视觉表征（尤其为 VRD 量身定制）方面的有效性。所提方法仅使用少量标注样本，即在谓词检测（PredDet）评估设定上超越了最先进的 VRD 方法。我们的代码发布于 https://github.com/deeplab-ai/SelfSupervisedVRD。
引用
@article{arxiv.2311.04834,
title = {Self-Supervised Learning for Visual Relationship Detection through Masked Bounding Box Reconstruction},
author = {Zacharias Anastasakis and Dimitrios Mallis and Markos Diomataris and George Alexandridis and Stefanos Kollias and Vassilis Pitsikalis},
journal= {arXiv preprint arXiv:2311.04834},
year = {2023}
}
备注
Camera Ready paper version of WACV 2024