用于单目 360 深度估计的神经轮廓波网络
计算机视觉与模式识别
2022-08-04 v1
摘要
对于单目 360 图像，深度估计具有挑战性，因为畸变沿纬度方向增大。为感知畸变，现有方法致力于设计深层复杂网络架构。本文中，我们提供一种新视角，即为 360 图像构建可解释且稀疏的表示。考虑到几何结构在深度估计中的重要性，我们利用轮廓波变换在谱域捕获显式几何线索，并将其与空域中的隐式线索相融合。具体而言，我们提出一个由卷积神经网络和轮廓波变换分支组成的神经轮廓波网络。在编码阶段，我们设计空间-谱融合模块以有效融合两类线索。与编码器相反，我们在解码器中采用带有学习到的低通子带和带通方向子带的逆轮廓波变换来合成深度。在三个流行全景图像数据集上的实验表明，所提方法以更快收敛优于当前最优方案。代码见 https://github.com/zhijieshen-bjtu/Neural-Contourlet-Network-for-MODE。
引用
@article{arxiv.2208.01817,
title = {Neural Contourlet Network for Monocular 360 Depth Estimation},
author = {Zhijie Shen and Chunyu Lin and Lang Nie and Kang Liao and Yao Zhao},
journal= {arXiv preprint arXiv:2208.01817},
year = {2022}
}
备注
IEEE Transactions on Circuits and Systems for Video Technology