Robo-SGG：利用布局规范化与恢复提升稳健场景图生成
计算机视觉与模式识别
2025-12-05 v2 人工智能
摘要
本文提出Robo-SGG，一个用于稳健场景图生成（SGG）的即插即用模块。不同于标准SGG，稳健场景图生成旨在对多样化的受损图像进行推断，其核心挑战在于干净图像与受损图像之间的域迁移。现有SGG方法因视觉特征偏移（例如损坏干扰或遮挡）而表现下降。为获取稳健的视觉特征，我们利用布局信息表示图像的全局结构，这种信息对域迁移具有鲁棒性，以增强SGG方法在受损情况下的稳健性。具体而言，我们采用实例规范化（IN）来缓解域特定的变异，并通过提出的布局导向恢复（Layout-Oriented Restitution）来恢复稳健的结构特征（即对象之间的位置和语义关系）。此外，在受损图像上，我们引入布局嵌入编码器（Layout-Embedded Encoder, LEE），通过门控机制自适应地融合布局和视觉特征，增强对象和谓词的位置和语义表示的稳健性。值得注意的是，我们提出的Robo-SGG模块被设计为即插即用组件，可轻松集成到任何基础SGG模型中。大量实验表明，通过将最先进的方法集成到我们提出的Robo-SGG中，在VG-C基准测试的PredCls、SGCls和SGDet任务中，mR@50分别提高了6.3%、11.1%和8.0%，并在场景图生成基准测试（VG-C和GQA-C）中实现了新的最佳性能。我们将发布源代码和模型。
引用
@article{arxiv.2504.12606,
title = {Robo-SGG: Exploiting Layout-Oriented Normalization and Restitution Can Improve Robust Scene Graph Generation},
author = {Changsheng Lv and Zijian Fu and Mengshi Qi},
journal= {arXiv preprint arXiv:2504.12606},
year = {2025}
}