基于空间校正器的倾斜图像表面法线估计
计算机视觉与模式识别
2022-07-15 v2
摘要
本文提出一种空间校正器来估计倾斜图像的表面法线。倾斜图像因更多视觉数据由任意朝向的传感器（如人体/机器人搭载的相机）捕获而备受关注。现有方法在预测表面法线上性能受限，因其使用重力对齐图像训练。我们的两个主要假设是：（1）视觉场景布局可指示重力方向；且（2）由于训练数据的结构化分布，并非所有表面都能被所学估计器同等表示，因此，对每个倾斜图像存在比其他变换更能响应所学估计器的变换。我们设计了一个空间校正器，其学习将倾斜图像的表面法线分布变换为与重力对齐训练数据分布匹配的校正后分布。结合空间校正器，我们提出一种新颖的截断角度损失，其在较小角度误差时提供更强梯度且对离群点鲁棒。所得估计器不仅在 ScanNet 和 NYUv2 上，而且在一个包含显著横滚与俯仰相机运动的新数据集 Tilt-RGBD 上，均优于包括数据增强基线在内的 SOTA 方法。
引用
@article{arxiv.2007.09264,
title = {Surface Normal Estimation of Tilted Images via Spatial Rectifier},
author = {Tien Do and Khiem Vuong and Stergios I. Roumeliotis and Hyun Soo Park},
journal= {arXiv preprint arXiv:2007.09264},
year = {2022}
}
备注
Appearing in the European Conference on Computer Vision 2020. This version fixes a typo on the L2 loss function