利用红外阴影图像优化深度传感器获取的几何结构
计算机视觉与模式识别
2016-08-19 v1
摘要
我们提出了一种方法，利用从红外（IR）相机捕获的阴影线索来优化来自消费级深度相机（如Kinect）的三维网格几何结构。使用红外相机而非RGB相机的一个主要优势在于，捕获的红外图像是窄带图像，滤除了大部分不想要的周围环境光，这使得我们的系统对自然室内光照具有鲁棒性。此外，对于许多在可见光谱中具有彩色纹理的自然物体，其在红外光谱中呈现出均匀的反照率。基于我们对Kinect红外投影灯的分析，我们定义了一个近光源红外阴影模型，该模型将捕获的强度描述为表面法线、反照率、光照方向以及光源与表面点之间距离的函数。为了解决模型中法线与距离之间的歧义性，我们利用来自Kinect融合的初始三维网格和多视角信息，可靠地估计出Kinect融合未能捕获和重建的表面细节。我们的方法直接在网格模型上进行几何优化。我们针对由Kinect I和Kinect II捕获的几何结构进行了算法实验，其中Kinect I的深度获取基于结构光技术，而Kinect II基于飞行时间（ToF）技术。通过几个具有挑战性的真实世界示例，我们证明了方法的有效性。我们还进行了一项用户研究，以评估优化前后网格模型的质量。
引用
@article{arxiv.1608.05204,
title = {Refining Geometry from Depth Sensors using IR Shading Images},
author = {Gyeongmin Choe and Jaesik Park and Yu-Wing Tai and In So Kweon},
journal= {arXiv preprint arXiv:1608.05204},
year = {2016}
}
备注
Accepted to the International Journal of Computer Vision (IJCV)