STAR：面向大尺寸卫星图像场景图生成的首个数据集与大规模基准
计算机视觉与模式识别
2024-07-04 v3 人工智能
摘要
卫星图像场景图生成（Scene graph generation in satellite imagery, SGG in SAI）有助于从感知到认知地理解地理场景。在SAI中，物体在尺度和宽高比上呈现出巨大差异，并且存在物体之间（甚至在空间上不相连的物体之间）丰富的关系，这使得在大尺寸超高清（very-high-resolution, VHR）SAI上进行全面性的SGG成为吸引人的。这一点。然而，目前缺乏此类SGG数据集。由于大尺寸SAI的复杂性，大规模地从<主体、关系、客体>三元组中矿采数据高度依赖长程上下文推理。因此，针对小尺寸自然图像设计的SGG模型无法直接应用于大尺寸SAI。本文构建了一个用于大尺寸VHR SAIsGG的数据集，图像尺寸范围为512×768至27,860×31,096像素，命名为STAR（Scene graph generaTion in lArge-size satellite imageRy），涵盖超过21万个物体和40万个三元组。为实现大尺寸SAI的SGG，我们提出了一种基于上下文的级联认知（context-aware cascade cognition, CAC）框架，用于理解SAI，包括物体检测、成对剔除和关系预测以完成SGG。我们也发布了一个针对SAI的SGG工具包，包含约30种物体检测方法和10种SGG方法，这些方法需要通过我们设计的模块在我们的挑战性STAR数据集上进行进一步适配。该数据集和工具包可在 https://linlin-dev.github.io/project/STAR 提供。
引用
@article{arxiv.2406.09410,
title = {STAR: A First-Ever Dataset and A Large-Scale Benchmark for Scene Graph Generation in Large-Size Satellite Imagery},
author = {Yansheng Li and Linlin Wang and Tingzhu Wang and Xue Yang and Junwei Luo and Qi Wang and Youming Deng and Wenbin Wang and Xian Sun and Haifeng Li and Bo Dang and Yongjun Zhang and Yi Yu and Junchi Yan},
journal= {arXiv preprint arXiv:2406.09410},
year = {2024}
}
备注
18 pages, 11 figures