单日户外光度立体视觉

由于光照变化不足，户外光照下的光度立体视觉（PS）仍然是一个具有挑战性的病态问题。该设置通常使用长达数月的采集周期，而在较短的单日时间间隔上几乎未取得成功。在本文中，我们研究了在不同天气条件下单日户外 PS 的求解。首先，我们研究了天气与表面可重建性之间的关系，以理解自然光照何时允许现有 PS 算法工作。我们的分析表明，局部多云的天气改善了户外 PS 问题的条件数，而晴天仅从光度线索无法无歧义地恢复表面法线。我们证明了经过标定的 PS 算法因此可用于在局部多云天气下准确重建朗伯表面。其次，我们通过基于 CNN 的弱标定 PS 技术，将光度线索与关于材料属性、局部表面几何以及户外光照自然变化的先验知识相结合，解决了晴天出现的歧义。给定在单个晴天期间捕获的户外图像序列，我们的方法为该场景以空前的质量稳健地估计场景表面法线。我们的方法不需要精确的地理位置，并且在具有真实光照的图像上显著优于多种最先进的方法，表明我们的 CNN 能够有效结合学习到的先验与单晴天期间可用的光度线索。