中文

HoHoNet:基于隐式水平特征的360度室内全景整体理解

计算机视觉与模式识别 2021-09-10 v3

摘要

我们提出 HoHoNet,一个利用隐式水平特征(LHFeat)对室内360度全景进行整体理解的通用且高效的框架。紧凑的 LHFeat 沿垂直方向展平特征,并已在房间布局重建的逐列模态建模中取得成功。HoHoNet 在两个方面取得进展。首先,深度架构被重新设计以运行更快且精度更高。其次,我们提出一种新颖的水平到稠密模块,它放宽了逐列输出形状约束,允许从 LHFeat 进行逐像素稠密预测。HoHoNet 很快:在使用 ResNet-50 和 ResNet-34 骨干网络时,它分别以 52 FPS 和 110 FPS 的速度从高分辨率 512×1024512 \times 1024 全景建模稠密模态。HoHoNet 也很准确。在布局估计和语义分割任务上,HoHoNet 取得了与当前最先进(SOTA)相当的结果。在稠密深度估计上,HoHoNet 大幅优于所有先前方法。

关键词

引用

@article{arxiv.2011.11498,
  title  = {HoHoNet: 360 Indoor Holistic Understanding with Latent Horizontal Features},
  author = {Cheng Sun and Min Sun and Hwann-Tzong Chen},
  journal= {arXiv preprint arXiv:2011.11498},
  year   = {2021}
}

备注

Code at https://github.com/sunset1995/HoHoNet. Video at https://www.youtube.com/watch?v=xXtRaRKmMpA