基于光照变化图像序列的无监督深度单图像本征分解

基于机器学习的单图像本征分解（SIID）方法利用大量已知且真实的真实分解知识，将捕获的场景分解为反照率（albedo）和阴影（shading）图像。收集和标注这样的数据集是一种无法扩展到足够多样性和真实性的方法。我们摆脱了这一限制，通过在未标注图像上训练来实现。我们的方法利用了如下观察：同一场景但不同光照下的两幅图像提供了关于其本征属性的有用信息：根据定义，反照率对照明条件不变，并且将第一幅图像的估计反照率与第二幅图像的估计阴影交叉组合应当能还原第二幅图像的输入图像。我们将这种关系转化为一个深度卷积神经网络的连体（siamese）训练方案，该网络将单幅图像分解为反照率和阴影。连体设置使我们能够引入包含此类交叉组合的新损失函数，并仅基于（延时）图像进行训练，从而摒弃对任何真实标注的需求。因此，我们的方法具有以下良好特性：i）在（预计算的）训练步骤中利用图像序列的时间变化信息；ii）不需要真实数据进行训练；iii）能够在运行时分解未见场景的单幅图像。为了展示和评估我们的工作，我们额外提出了一个包含光照变化场景的新渲染数据集以及一组用于评估 SIID 算法的定量指标。尽管具有无监督性质，我们的结果仍可与最先进（state of the art）方法竞争，包括有监督和非数据驱动的方法。