公平排序与全新盘面场景图生成模型
计算机视觉与模式识别
2024-07-15 v1 机器学习
摘要
在盘面场景图生成（PSGG）中，模型检索图像中对象之间的相互作用，并通过盘面分割掩码进行锚定。以往在盘面场景图评估中存在错误的评估协议，即同一对象可对应多个掩码，导致每个掩码-掩码对产生多个关系分布。这可以被利用以提高最终得分。我们纠正了这一缺陷，并在广泛的现有PSGG模型范围内提供公平排名。结果显示，现有方法的得分在所有双阶段方法中提升最高可达7.4 mR@50，而在所有单阶段方法中则下降最高可达19.3 mR@50，凸显正确评估的重要性。与近期论文不同，我们表明现有的双阶段方法与单阶段方法具有竞争力。基于此，我们引入了解耦场景Transformer（DSFormer），这是一种新型双阶段模型，在纠正后的评估中以+11 mR@50和+10 mNgR@50的大幅优势超越所有现有场景图模型，从而树立了新的SOTA。作为核心设计原则，DSFormer直接将主语和客体掩码编码到特征空间中。
引用
@article{arxiv.2407.09216,
title = {A Fair Ranking and New Model for Panoptic Scene Graph Generation},
author = {Julian Lorenz and Alexander Pest and Daniel Kienzle and Katja Ludwig and Rainer Lienhart},
journal= {arXiv preprint arXiv:2407.09216},
year = {2024}
}