Mono2Stereo: 用于增强立体匹配的单目知识迁移

由于现有合成数据集的域差距和真实数据集中真值标签的稀疏性，立体匹配网络的泛化能力和性能受到限制。相比之下，得益于大规模深度数据集和自监督策略，单目深度估计取得了显著进展。为了弥合单目深度估计与立体匹配之间的性能差距，我们提出利用单目知识迁移来增强立体匹配，即 Mono2Stereo。我们引入了一个两阶段训练过程的知识迁移方法，包括合成数据预训练和真实数据微调。在预训练阶段，我们设计了一个数据生成流水线，利用单目图像合成立体训练数据。该流水线利用单目深度进行扭曲和新视角合成，并采用我们提出的边缘感知（EA）修补模块填补生成图像中的缺失内容。在微调阶段，我们引入了一种稀疏到稠密知识蒸馏（S2DKD）策略，鼓励预测分布与稠密单目深度对齐。该策略缓解了稀疏真实标签中的边缘模糊问题，并增强了整体一致性。实验结果表明，我们的预训练模型表现出强大的零样本泛化能力。此外，使用我们的预训练模型和 S2DKD 策略进行领域特定微调，显著提升了域内性能。代码即将公开。