HEAT：用于结构化重建的整体边注意力 Transformer

本文提出一种基于注意力的新型神经网络用于结构化重建，该网络以 2D 光栅图像为输入，重建描绘底层几何结构的平面图。该方法以端到端方式检测角点并对角点间的边候选进行分类。我们的贡献是一种整体边分类架构，其 1）通过边候选端点的三角位置编码初始化边候选特征；2）通过可变形注意力将图像特征融合到每个边候选；3）采用两个权重共享的 Transformer 解码器在图边候选上学习整体结构模式；4）使用掩码学习策略进行训练。角点检测器是边分类架构的一个变体，适用于以像素作为角点候选进行操作。我们在两项结构化重建任务上进行了实验：室外建筑架构和室内平面图平面图重建。大量定性与定量评估证明了我们的方法优于当前最先进水平。代码与预训练模型可在 https://heat-structured-reconstruction.github.io 获取。