CogTree：用于无偏场景图生成的认知树损失
计算机视觉与模式识别
2021-06-09 v2 计算与语言
多媒体
摘要
场景图是图像的语义抽象，有助于视觉理解与推理。然而，在真实场景面临有偏数据时，场景图生成（SGG）的性能不尽如人意。传统的去偏研究主要从平衡数据分布或学习无偏模型与表征的视角展开，忽略了有偏类别之间的相关性。本文中，我们从一种新颖的认知视角分析该问题：从有偏预测中自动构建层次化认知结构，并沿该层次结构导航以定位关系，使长尾关系在由粗到细的模式下获得更多关注。为此，我们提出了一种用于无偏 SGG 的新型去偏认知树（CogTree）损失。我们首先构建认知结构 CogTree，基于有偏 SGG 模型的预测对关系进行组织。CogTree 先区分差异显著的关系，再聚焦于一小部分易混淆的关系。随后，我们针对该认知结构提出一种专门的去偏损失，支持对正确关系进行由粗到细的区分。该损失与模型无关，并能持续提升若干 state-of-the-art 模型的性能。代码见：https://github.com/CYVincent/Scene-Graph-Transformer-CogTree。
引用
@article{arxiv.2009.07526,
title = {CogTree: Cognition Tree Loss for Unbiased Scene Graph Generation},
author = {Jing Yu and Yuan Chai and Yujing Wang and Yue Hu and Qi Wu},
journal= {arXiv preprint arXiv:2009.07526},
year = {2021}
}
备注
Accepted by IJCAI 2021. SOLE copyright holder is IJCAI (International Joint Conferences on Artificial Intelligence)