通过学习合成实现无监督跨光谱立体匹配

无监督跨光谱立体匹配旨在在没有任何真实视差或深度监督的情况下，给定跨光谱图像对时恢复视差。估计出的深度提供了互补于单个语义特征的附加信息，这对于其他视觉任务（如跟踪、识别和检测）有所助益。然而，不同光谱波段的图像之间存在巨大的外观差异，这对跨光谱立体匹配构成了挑战。现有的深度无监督立体匹配方法对外观差异敏感，在跨光谱数据上表现不佳。我们提出了一种基于图像到图像转换的全新无监督跨光谱立体匹配框架。首先，风格适应网络通过循环一致性和对抗学习转换不同光谱波段的图像，在此过程中外观差异被最小化。然后，使用来自相同光谱的图像对通过视图重建损失训练立体匹配网络。最后，利用估计出的视差以端到端的方式监督光谱转换网络。此外，提出了一种新颖的风格适应网络 F-cycleGAN 以提高光谱转换的鲁棒性。我们的方法能够处理外观差异并增强无监督跨光谱立体匹配的鲁棒性。实验结果表明，我们的方法在不使用深度监督或显式语义信息的情况下取得了良好的性能。