通过对比与打分学习解决场景图解析中的类不平衡问题
计算机视觉与模式识别
2020-10-06 v2
摘要
场景图解析旨在检测图像场景中的物体并识别其关系。近期方法在一些流行基准上取得了较高的平均分数，但因数据高度长尾分布使学习偏向频繁标签，而在检测稀有关系上失败。鉴于检测这些稀有关系在真实应用中可能至关重要，本文引入一种分类与排序相集成的新型框架，以解决场景图解析中的类不平衡问题。具体而言，我们设计了一种新的对比交叉熵损失(Contrasting Cross-Entropy loss)，通过抑制不正确的频繁关系来促进稀有关系的检测。此外，我们提出一种称为 Scorer 的新型打分模块，学习基于图像特征与关系特征对关系排序，以提升预测的召回率。我们的框架简洁有效，可嵌入现有场景图模型。实验结果表明，所提方法改进了当前最优(state-of-the-art)方法，在检测稀有关系上具有明显优势。
引用
@article{arxiv.2009.13331,
title = {Addressing Class Imbalance in Scene Graph Parsing by Learning to Contrast and Score},
author = {He Huang and Shunta Saito and Yuta Kikuchi and Eiichi Matsumoto and Wei Tang and Philip S. Yu},
journal= {arXiv preprint arXiv:2009.13331},
year = {2020}
}
备注
ACCV 2020