探索用于夜间光流的共同外观-边界适应

我们研究了夜间光流这一具有挑战性的任务，该任务受弱化纹理和放大噪声的影响。这些退化削弱了具有判别性的视觉特征，从而导致无效的运动特征匹配。通常，现有方法采用领域自适应，在输入视觉空间或输出运动空间中将知识从辅助领域迁移到夜间领域。然而，这种直接适应是无效的，因为辅助领域和夜间领域之间特征表示的内在异构性导致了巨大的领域鸿沟。为了克服这个问题，我们探索了一个共同潜在空间作为中间桥梁，以强化辅助领域和夜间领域之间的特征对齐。在本工作中，我们利用了两个辅助领域——白天领域和事件领域，并提出了一种用于夜间光流的新型共同外观-边界适应框架。在外观适应中，我们采用本征图像分解，将辅助白天图像和夜间图像嵌入到一个反射率对齐的共同空间中。我们发现两张反射率图的运动分布非常相似，这有利于我们将运动外观知识从白天领域一致地迁移到夜间领域。在边界适应中，我们在时空梯度对齐的共同空间内，从理论上推导了夜间图像与累积事件之间的运动相关性公式。我们发现两张时空梯度图的相关性存在显著差异，这有利于我们对比式地将边界知识从事件领域迁移到夜间领域。此外，外观适应和边界适应是互补的，因为它们可以共同将全局运动和局部边界知识迁移到夜间领域。