LED2-Net:基于可微深度渲染的单目360布局估计
计算机视觉与模式识别
2021-04-06 v2
摘要
尽管房间布局估计已取得显著进展,大多数方法旨在减少2D像素坐标上的损失,而非在3D空间中利用房间结构。为在3D中重建房间布局,我们将360布局估计任务表述为在全景图地平线上预测深度的问题。具体而言,我们提出可微深度渲染过程,使从布局到深度预测的转换可微,从而使我们提出的模型在利用3D几何信息的同时实现端到端可训练,且无需提供真实深度。我们的方法在众多360布局基准数据集上取得了最先进的性能。此外,我们的表述支持在深度数据集上的预训练步骤,这进一步提升了布局估计模型的泛化能力。
引用
@article{arxiv.2104.00568,
title = {LED2-Net: Monocular 360 Layout Estimation via Differentiable Depth Rendering},
author = {Fu-En Wang and Yu-Hsuan Yeh and Min Sun and Wei-Chen Chiu and Yi-Hsuan Tsai},
journal= {arXiv preprint arXiv:2104.00568},
year = {2021}
}
备注
CVPR 2021 Oral, see https://fuenwang.ml/project/led2net