基于几何感知的半监督街景图像建筑功能细粒度识别

本文提出一种几何感知的半监督框架，用于街景图像中的建筑功能细粒度识别，利用多源数据之间的几何关系来增强半监督学习中伪标签的准确性，从而拓宽其在各种建筑功能分类系统中的适用性。首先，我们设计了在线半监督预训练阶段，以精确获取街景图像中建筑立面位置信息。在第二阶段，我们提出了几何感知粗标注生成模块。该模块依据几何关系有效地将GIS数据与街景数据结合，提高伪标注的准确性。在第三阶段，我们将新生成的粗标注与现有标注数据结合，以实现跨多个城市建筑功能细粒度识别。大量实验表明，我们的框架在建筑功能细粒度识别方面表现卓越。在相同的分类系统内，相较于完全监督方法和最先进的半监督方法，分别实现了7.6%和4.8%的提升。此外，我们的方法在跨城市场景中也表现良好，即将在OmniCity（纽约）上训练的模型推广到具有不同建筑功能分类系统的新城市（如洛杉矶和波士顿）。该研究为在最小标注需求下实现大规模多城市应用提供了新方案，促进了城市管理中更高效的数据更新和资源分配。