面向无偏场景图生成的语义多样性感知原型学习
计算机视觉与模式识别
2024-07-26 v2 人工智能
摘要
场景图生成（SGG）任务涉及检测图像中的物体并预测表示物体之间关系的谓词。然而，在SGG基准数据集中，每对主体-客体只标注一个谓词，尽管单个谓词可能 exhibit 多样语义（即语义多样性），现有SGG模型训练时只预测每对主体-客体唯一的谓词。这导致SGG模型忽略谓词可能存在的语义多样性，从而产生偏差预测。本文提出一种新颖的模型无关语义多样性感知原型学习（DPL）框架，实现基于对谓词语义多样性理解的无偏预测。具体而言，DPL学习每个谓词在语义空间中覆盖的区域，以区分单个谓词可代表的各种不同语义。大量实验表明，我们提出的模型无关DPL框架在现有SGG模型上显著提升性能，并且有效理解谓词的语义多样性。
引用
@article{arxiv.2407.15396,
title = {Semantic Diversity-aware Prototype-based Learning for Unbiased Scene Graph Generation},
author = {Jaehyeong Jeon and Kibum Kim and Kanghoon Yoon and Chanyoung Park},
journal= {arXiv preprint arXiv:2407.15396},
year = {2024}
}
备注
ECCV 2024