AUG: 用于航拍图像城市场景图生成的新数据集与高效模型
计算机视觉与模式识别
2024-04-12 v1 人工智能
摘要
场景图生成（SGG）旨在理解给定图像中的视觉对象及其语义关系。到目前为止，已经发布了大量具有平视视角的SGG数据集，但具有俯视视角的SGG数据集很少被研究。与平视视角中阻碍SGG的对象遮挡问题相比，俯视视角提供了一个新的视角，通过提供对地面场景中对象空间关系的清晰感知来促进SGG。为了填补俯视视角数据集的空白，本文构建并发布了一个航拍图像城市场景图生成（AUG）数据集。AUG数据集中的图像以低空俯视视角拍摄。在AUG数据集中，手动标注了25,594个对象、16,970个关系和27,175个属性。为了避免局部上下文在复杂的航拍城市场景中被淹没，本文提出了一种新的保持局部性的图卷积网络（LPG）。与传统的图卷积网络（天然具有捕获SGG全局上下文的优势）不同，LPG中的卷积层将对象的非破坏性初始特征与动态更新的邻域信息相结合，以在挖掘全局上下文的前提下保留局部上下文。为了解决AUG中存在大量潜在对象关系对但只有一小部分有意义的问题，我们提出了自适应边界框缩放因子用于潜在关系检测（ABS-PRD），以智能地剪枝无意义的关系对。在AUG数据集上的大量实验表明，我们的LPG可以显著优于最先进的方法，并且所提出的保持局部性策略是有效的。
引用
@article{arxiv.2404.07788,
title = {AUG: A New Dataset and An Efficient Model for Aerial Image Urban Scene Graph Generation},
author = {Yansheng Li and Kun Li and Yongjun Zhang and Linlin Wang and Dingwen Zhang},
journal= {arXiv preprint arXiv:2404.07788},
year = {2024}
}