基于数据迁移的细粒度场景图生成
计算机视觉与模式识别
2022-07-21 v2 人工智能
摘要
场景图生成 (SGG) 旨在提取图像中的（主语，谓词，宾语）三元组。最近的工作在 SGG 上取得了稳步进展，并为高级视觉和语言理解提供了有用的工具。然而，由于长尾分布和语义模糊等数据分布问题，当前 SGG 模型的预测倾向于坍缩为几个频繁但无信息量的谓词（例如，on，at），这限制了这些模型在下游任务中的实际应用。为了处理上述问题，我们提出了一种新颖的内部和外部数据迁移 (IETrans) 方法，该方法可以即插即用的方式应用，并扩展到具有 1,807 个谓词类别的大型 SGG。我们的 IETrans 试图通过自动创建一个增强的数据集来缓解数据分布问题，该数据集为所有谓词提供了更充分和连贯的标注。通过在增强数据集上进行训练，Neural Motif 模型在保持有竞争力的微观性能的同时，将宏观性能提高了一倍。代码和数据公开于 https://github.com/waxnkw/IETrans-SGG.pytorch。
引用
@article{arxiv.2203.11654,
title = {Fine-Grained Scene Graph Generation with Data Transfer},
author = {Ao Zhang and Yuan Yao and Qianyu Chen and Wei Ji and Zhiyuan Liu and Maosong Sun and Tat-Seng Chua},
journal= {arXiv preprint arXiv:2203.11654},
year = {2022}
}
备注
ECCV 2022 (Oral)