解耦正交平面用于具有跨尺度畸变感知的室内全景房间布局估计
计算机视觉与模式识别
2023-03-07 v2
摘要
基于曼哈顿世界假设，现有大多数室内布局估计方法侧重于从垂直压缩的 1D 序列中恢复布局。然而，压缩过程混淆了不同平面的语义，导致性能不佳且可解释性模糊。为解决此问题，我们提出通过从复杂场景中预分割正交（垂直与水平）平面来解耦该 1D 表示，显式捕获室内布局估计的几何线索。考虑到地面边界与天花板边界的对称性，我们还设计了软翻转融合策略来辅助预分割。此外，我们提出一种特征组装机制，以有效整合浅层与深层特征并具备畸变分布感知。为补偿预分割中的潜在误差，我们进一步利用三重注意力重构解耦序列以提升性能。在四个流行基准上的实验证明了我们相对于现有 SOTA 方案的优越性，尤其在 3DIoU 指标上。代码见 \url{https://github.com/zhijieshen-bjtu/DOPNet}。
引用
@article{arxiv.2303.00971,
title = {Disentangling Orthogonal Planes for Indoor Panoramic Room Layout Estimation with Cross-Scale Distortion Awareness},
author = {Zhijie Shen and Zishuo Zheng and Chunyu Lin and Lang Nie and Kang Liao and Shuai Zheng and Yao Zhao},
journal= {arXiv preprint arXiv:2303.00971},
year = {2023}
}
备注
Accepted to CVPR2023