利用社交媒体图像进行建筑功能分类
计算机视觉与模式识别
2022-02-16 v1
摘要
建筑实例层面的城市土地利用对许多应用而言是至关重要的地理信息,却难以获取。弥补这一缺口的一种直观方法是从地面视角影像预测建筑功能。社交媒体图像平台包含数十亿张图像,其主题丰富多样,包括但不限于街道视角。为应对此问题,本研究提出一种过滤流水线,从大型社交媒体图像数据集中提取高质量地面视角影像。该流水线确保所有所得图像具有完整有效的地理标签与罗盘方向,从而将图像内容与地图上的空间对象相关联。我们在一个来自Flickr、具有文化多样性的社交媒体数据集上分析所提方法,该数据集包含来自全球42个城市的超过2800万张图像。随后将所得数据集用于三类建筑功能分类任务中进行评估。本研究考虑的三类建筑为:商业、住宅与其他。微调的最先进架构在过滤后图像上取得的F1分数最高达0.51。我们的分析表明,性能高度受限于从OpenStreetMap获取的标签质量,若仅考虑人工验证标签,指标可提升0.2。因此,我们认为这些标签为弱标签,并将流水线所得图像及其所展示的建筑作为弱标签数据集一并发布。
引用
@article{arxiv.2202.07315,
title = {Using Social Media Images for Building Function Classification},
author = {Eike Jens Hoffmann and Karam Abdulahhad and Xiao Xiang Zhu},
journal= {arXiv preprint arXiv:2202.07315},
year = {2022}
}