PCPL：用于无偏场景图生成的谓词关联感知学习
计算机视觉与模式识别
2020-09-03 v1
摘要
如今，场景图生成(SGG)任务在真实场景中受到很大限制，主要由于谓词标注分布极度长尾偏置。因此，解决SGG的类别不平衡问题关键且具有挑战性。本文中，我们首先发现当谓词标签彼此间具有强关联时，流行的再平衡策略(如重采样和重加权)将导致要么过拟合尾部数据(例如bench sitting on sidewalk而非on)，要么仍遭受原始不均衡分布的不利影响(例如将多样的parked on/standing on/sitting on聚为on)。我们认为主要原因是以频率为重的再平衡策略对谓词频率敏感却忽视其关联性，而关联性可能对促进谓词特征学习起更重要作用。因此，我们提出一种新颖的谓词关联感知学习(简称PCPL)方案，通过直接感知并利用谓词类间关联自适应寻找合适损失权重。此外，我们的PCPL框架进一步配备图编码器模块以更好提取上下文特征。在基准VG150数据集上的大量实验表明，所提PCPL在尾部类上表现明显更优，同时很好保持头部类性能，显著优于先前最先进方法。
引用
@article{arxiv.2009.00893,
title = {PCPL: Predicate-Correlation Perception Learning for Unbiased Scene Graph Generation},
author = {Shaotian Yan and Chen Shen and Zhongming Jin and Jianqiang Huang and Rongxin Jiang and Yaowu Chen and Xian-Sheng Hua},
journal= {arXiv preprint arXiv:2009.00893},
year = {2020}
}
备注
To be appeared on ACMMM 2020