FloorLevel-Net：基于高度注意力引导多任务学习的楼层线识别
计算机视觉与模式识别
2021-08-11 v1
摘要
识别分隔相邻建筑楼层的楼层线的位置与顺序的能力可使许多应用受益，例如城市增强现实（AR）。本工作采用有监督深度学习方法解决街景图像中楼层线定位问题。遗憾的是，可用于训练此类网络的数据极少——现有街景数据集要么包含缺乏几何属性的语义标注，要么包含无透视先验的校正立面。为解决此问题，我们首先编译了一个新数据集，并开发了一种新的数据增强方案，通过利用（i）现有校正立面的丰富语义与（ii）多样街景中建筑的透视先验来合成训练样本。接下来，我们设计了 FloorLevel-Net，一种将建筑立面显式特征与隐式楼层线相关联的多任务学习网络，并配有高度注意力机制以帮助强制楼层线的垂直排序。生成的分割结果随后传入第二阶段几何后处理，以利用自约束几何先验实现合理且一致的楼层线重建。在现有数据集的各类立面与来自 Google 的街景上进行的定量与定性评估证明了我们方法的有效性。此外，我们给出了上下文感知图像叠加结果，并展示了我们的方法在丰富 AR 相关应用方面的潜力。
引用
@article{arxiv.2107.02462,
title = {FloorLevel-Net: Recognizing Floor-Level Lines with Height-Attention-Guided Multi-task Learning},
author = {Mengyang Wu and Wei Zeng and Chi-Wing Fu},
journal= {arXiv preprint arXiv:2107.02462},
year = {2021}
}