面向细粒度场景图生成的环境不变课程关系学习
计算机视觉与模式识别
2023-08-22 v2
摘要
场景图生成（SGG）任务旨在基于主-客体对识别谓词。然而，现有数据集通常包含两类不平衡：一是来自预测谓词的类不平衡，二是来自给定主-客体对的上下文不平衡，这给 SGG 带来显著挑战。多数现有方法关注预测谓词的不平衡而忽略主-客体对的不平衡，因而无法取得满意结果。为应对这两类不平衡，我们提出一种新颖的环境不变课程关系学习（EICR）方法，可作为即插即用模块应用于现有 SGG 方法。具体而言，为消除主-客体对的不平衡，我们首先为主-客体对构建不同分布环境并学习对环境变化不变的模型。随后，我们构建类平衡课程学习策略以平衡不同环境，从而消除谓词不平衡。在 VG 与 GQA 数据集上的充分实验表明，我们的 EICR 框架可作为各类 SGG 模型的通用策略，并取得显著提升。
引用
@article{arxiv.2308.03282,
title = {Environment-Invariant Curriculum Relation Learning for Fine-Grained Scene Graph Generation},
author = {Yukuan Min and Aming Wu and Cheng Deng},
journal= {arXiv preprint arXiv:2308.03282},
year = {2023}
}
备注
ICCV2023. arXiv admin note: text overlap with arXiv:2203.11654 by other authors