PanorAMS：基于城市上下文的自动标注用于检测城市场景中的物体
计算机视觉与模式识别
2022-09-01 v2 多媒体
摘要
全球各城市均可免费获取大量地理参考全景图像，以及包含各类城市物体位置与元数据的详尽地图。这些资源为城市物体提供了潜在丰富的信息来源，但用于目标检测的手动标注成本高昂、费力且困难。我们能否利用此类多媒体源自动标注街景图像，作为手动标注的廉价替代方案？借助 PanorAMS 框架，我们提出了一种基于城市上下文信息自动生成全景图像边界框标注的方法。遵循该方法，我们仅从开放数据源快速自动地获取了一个城市规模、尽管含噪的标注数据集。该数据集覆盖阿姆斯特丹市，包含 771,299 张全景图像中 22 个物体类别的超过 1400 万个含噪边界框标注。对于许多物体，还可从地理空间元数据中获取更细粒度的信息，如建筑价值、功能和平均表面积。此类信息若仅基于图像通过手动标注获取，即便可能也极为困难。为详细评估，我们提出了一种用于全景图像边界框标注的高效众包协议，并据此为 7,348 张图像的子集获取了 147,075 个真值物体标注，即 PanorAMS-clean 数据集。针对我们的 PanorAMS-noisy 数据集，我们提供了对噪声及不同类型噪声如何影响图像分类与目标检测性能的广泛分析。我们将本文提出的 PanorAMS-noisy 与 PanorAMS-clean 两个数据集、基准及工具公开可用。
引用
@article{arxiv.2208.14295,
title = {PanorAMS: Automatic Annotation for Detecting Objects in Urban Context},
author = {Inske Groenen and Stevan Rudinac and Marcel Worring},
journal= {arXiv preprint arXiv:2208.14295},
year = {2022}
}