自监督 360° 房间布局估计
计算机视觉与模式识别
2022-03-31 v1
摘要
我们提出了首个无需任何标注数据即可训练全景房间布局估计模型的自监督方法。与提供丰富对应约束的逐像素稠密深度不同，布局表示是稀疏且具拓扑性的，这阻碍了在图像上使用自监督重投影一致性。为解决该问题，我们提出了可微布局视角渲染（Differentiable Layout View Rendering），其可根据目标图像估计出的布局将源图像变换到目标相机位姿。由于每个渲染像素相对于估计布局是可微的，我们现可通过最小化重投影损失来训练布局估计模型。此外，我们引入了正则化损失以鼓励曼哈顿对齐、天花板-地板对齐、循环一致性与布局拉伸一致性，进一步改善了预测结果。最后，我们在 ZilloIndoor 与 MatterportLayout 数据集上给出了首个自监督结果。我们的方法在数据稀缺场景与主动学习中也展现出有前景的解决方案，其在房地产虚拟看房软件中具有直接应用价值。代码见 https://github.com/joshua049/Stereo-360-Layout。
引用
@article{arxiv.2203.16057,
title = {Self-supervised 360$^{\circ}$ Room Layout Estimation},
author = {Hao-Wen Ting and Cheng Sun and Hwann-Tzong Chen},
journal= {arXiv preprint arXiv:2203.16057},
year = {2022}
}