通过去偏生成信息丰富的场景图
摘要
场景图生成旨在检测视觉关系三元组，即（主语，谓词，宾语）。由于数据中的偏差，当前模型倾向于预测常见的谓词，例如“on”和“at”，而不是信息丰富的谓词，例如“standing on”和“looking at”。这种倾向导致精确信息的丢失和整体性能的下降。如果模型仅使用“stone on road”而不是“stone blocking road”来描述图像，这可能是严重的误解。我们认为这种现象是由两种不平衡引起的：语义空间层面的不平衡和训练样本层面的不平衡。针对这一问题，我们提出了 DB-SGG，这是一个基于去偏而非传统分布拟合的有效框架。它集成了两个组件来应对这些不平衡：语义去偏（SD）和平衡谓词学习（BPL）。SD 利用混淆矩阵和二部图来构建谓词关系。BPL 采用随机欠采样策略和歧义消除策略来关注信息丰富的谓词。得益于其与模型无关的过程，我们的方法可以轻松应用于 SGG 模型，并在 SGG-VG 数据集的三个 SGG 子任务的 mR@20 上分别比 Transformer 高出 136.3%、119.5% 和 122.6%。我们的方法还在另一个复杂的 SGG 数据集（SGG-GQA）和两个下游任务（句子到图的检索和图像描述）上得到了进一步验证。
引用
@article{arxiv.2308.05286,
title = {Informative Scene Graph Generation via Debiasing},
author = {Lianli Gao and Xinyu Lyu and Yuyu Guo and Yuxuan Hu and Yuan-Fang Li and Lu Xu and Heng Tao Shen and Jingkuan Song},
journal= {arXiv preprint arXiv:2308.05286},
year = {2024}
}
备注
The author requests to withdraw this paper due to a critical definitional error in Informative Scene Graph Generation via Debiasing. This error aligned with the definition of Informative Scene Graph Generation tasks, resulting in an unfair comparison with state-of- the-art (SOTA) methods, which in turn, hindered the ability to evaluate the paper's contributions