Hydra-SGG：用于单阶段场景图生成的混合关系分配
计算机视觉与模式识别
2025-02-27 v2
摘要
DETR 为场景图生成（SGG）引入了一个简化的单阶段框架，但面临稀疏监督和假阴性样本的挑战。前者发生是因为每张图像通常包含少于 10 个关系标注，而基于 DETR 的 SGG 模型采用超过 100 个关系查询。在训练期间，每个真实关系仅被分配给一个查询。后者发生在一个真实关系可能有多个具有相似匹配分数的查询时，导致次优匹配的查询被作为负样本处理。为了解决这些问题，我们提出了 Hydra-SGG，一种具有混合关系分配的单阶段 SGG 方法。该方法将一对一关系分配与基于 IoU 的一对多关系分配相结合，增加了正训练样本并缓解了稀疏监督。此外，我们经验性地证明，移除关系查询之间的自注意力会导致重复预测，这实际上有利于所提出的一对多关系分配。基于这一洞察，我们引入了 Hydra 分支，一个没有自注意力层的辅助解码器，通过促进不同查询做出相同的关系预测来进一步增强一对多关系分配。Hydra-SGG 在多个数据集上取得了 SOTA 性能，包括 VG150（16.0 mR@50）、Open Images V6（50.1 weighted score）和 GQA（12.7 mR@50）。
引用
@article{arxiv.2409.10262,
title = {Hydra-SGG: Hybrid Relation Assignment for One-stage Scene Graph Generation},
author = {Minghan Chen and Guikun Chen and Wenguan Wang and Yi Yang},
journal= {arXiv preprint arXiv:2409.10262},
year = {2025}
}
备注
ICLR 2025; project page: https://github.com/Dreamer312/Hydra-SGG