面向细粒度场景图生成的层次化记忆学习
计算机视觉与模式识别
2023-10-24 v5
摘要
在场景图生成（SGG）中，由于众包标注，粗粒度与细粒度谓词混杂于数据集中，且长尾问题显著。鉴于这一棘手状况，许多现有 SGG 方法平等对待谓词，并在单阶段中以混合粒度谓词为监督训练模型，导致预测相对粗化。为缓解次优混合粒度标注与长尾效应问题的负面影响，本文提出一种新颖的层次化记忆学习（HML）框架，令模型由简至繁地学习，类似于人类的层次化记忆学习过程。在对粗、细谓词自主划分后，模型先基于粗粒度谓词训练，再学习细粒度谓词。为实现此层次化学习范式，本文首次利用新提出的概念重构（CR）与模型重构（MR）约束来形式化 HML 框架。值得注意的是，HML 框架可作为一种通用优化策略以提升各类 SGG 模型，并在 SGG 基准（即 Visual Genome）上取得显著提升。
引用
@article{arxiv.2203.06907,
title = {Hierarchical Memory Learning for Fine-Grained Scene Graph Generation},
author = {Youming Deng and Yansheng Li and Yongjun Zhang and Xiang Xiang and Jian Wang and Jingdong Chen and Jiayi Ma},
journal= {arXiv preprint arXiv:2203.06907},
year = {2023}
}
备注
ECCV 2022