PlaneTR:用于三维平面恢复的结构引导Transformer
计算机视觉与模式识别
2021-07-29 v1
摘要
本文提出一种基于Transformer构建的神经网络,即PlaneTR,用于从单幅图像中同时检测与重建平面。与以往方法不同,PlaneTR以序列到序列的方式联合利用上下文信息与几何结构,在一次前向传播中整体检测平面实例。具体而言,我们将几何结构表示为线段,并以三个主要组件构建网络:(i)上下文与线段编码器,(ii)结构引导平面解码器,(iii)像素级平面嵌入解码器。给定一幅图像及其检测到的线段,PlaneTR通过两个专门设计的编码器生成上下文与线段序列,然后将它们送入基于Transformer的解码器,通过同时考虑上下文与全局结构线索直接预测平面实例序列。最后,计算像素级嵌入以将每个像素分配给在嵌入空间中距其最近的预测平面实例。综合实验表明,PlaneTR在ScanNet与NYUv2数据集上取得了最先进的性能。
引用
@article{arxiv.2107.13108,
title = {PlaneTR: Structure-Guided Transformers for 3D Plane Recovery},
author = {Bin Tan and Nan Xue and Song Bai and Tianfu Wu and Gui-Song Xia},
journal= {arXiv preprint arXiv:2107.13108},
year = {2021}
}
备注
ICCV 2021; Code: https://git.io/PlaneTR