从单目360°图像多任务几何估计深度与表面法线
计算机视觉与模式识别
2025-05-29 v1
摘要
几何估计对于全景360°图像的场景理解和分析是必需的。当前方法通常预测单一特征，如深度或表面法线。这些方法在处理复杂纹理或复杂物体表面时可能缺乏鲁棒性。我们提出了一种新颖的多任务学习(MTL)网络，同时从360°图像估计深度和表面法线。我们的第一个创新是MTL架构，通过整合来自深度和表面法线估计的几何信息来增强两个任务的预测，从而实现对3D场景结构的更深入理解。另一个创新是我们的融合模块，它连接了两个任务，使网络能够学习共享表示，从而提高准确性和鲁棒性。实验结果表明，我们的MTL架构在深度和表面法线估计方面均显著优于最先进的方法，在复杂和多样化场景中表现出优越性能。我们的模型在处理复杂表面纹理方面的有效性和通用性，使其成为360°图像几何估计的新基准。代码和模型可在\url{https://github.com/huangkun101230/360MTLGeometricEstimation}获取。
引用
@article{arxiv.2411.01749,
title = {Multi-task Geometric Estimation of Depth and Surface Normal from Monocular 360{\deg} Images},
author = {Kun Huang and Fang-Lue Zhang and Fangfang Zhang and Yu-Kun Lai and Paul L. Rosin and Neil A. Dodgson},
journal= {arXiv preprint arXiv:2411.01749},
year = {2025}
}
备注
18 pages, this paper is accepted by Computational Visual Media Journal (CVMJ) but not pushlished yet