用于无偏场景图生成的头-尾协同学习网络
计算机视觉与模式识别
2023-08-24 v1
摘要
场景图生成（SGG）作为图像理解中的关键任务，面临着由谓词长尾分布导致的头部偏置预测挑战。然而，当前无偏SGG方法容易优先改进尾部谓词预测，却忽视了对头部谓词预测的重大牺牲，导致从头部偏置转向尾部偏置。为解决此问题，我们提出一种模型无关的头部-尾协同学习（HTCL）网络，其包含头部偏好与尾部偏好特征表示分支，通过协作实现对头部与尾部谓词的准确识别。我们还提出一种自监督学习方法，通过约束尾部偏好谓词特征来增强尾部偏好特征表示分支的预测能力。具体而言，自监督学习通过对比学习与头部中心损失将头部谓词特征收敛至其类中心，同时尽可能分散尾部谓词特征。我们在VG150、Open Images V6和GQA200数据集上将HTCL应用于多种SGG模型，证明了其有效性。结果表明，我们的方法在Recall极小牺牲下实现了更高的平均Recall，并取得了新的最先进综合性能。我们的代码见https://github.com/wanglei0618/HTCL。
引用
@article{arxiv.2308.12048,
title = {Head-Tail Cooperative Learning Network for Unbiased Scene Graph Generation},
author = {Lei Wang and Zejian Yuan and Yao Lu and Badong Chen},
journal= {arXiv preprint arXiv:2308.12048},
year = {2023}
}
备注
12 pages, 8 figures