MaDis-Stereo：通过蒸馏掩码图像建模增强立体匹配
计算机视觉与模式识别
2025-01-09 v1
摘要
在立体匹配中，CNN 传统上一直作为主导架构。尽管最近已经对基于 Transformer 的立体模型进行了研究，但由于立体匹配任务中固有的数据稀缺问题，其性能仍落后于基于 CNN 的立体模型。在本文中，我们提出了掩码图像建模蒸馏立体匹配模型，称为 MaDis-Stereo，它通过在训练基于 Transformer 的立体模型时利用掩码图像建模（MIM）来增强局部归纳偏置。给定随机掩码的立体图像作为输入，我们的方法尝试同时进行图像重建和深度预测任务。虽然这种策略有助于解决数据稀缺问题，但重建掩码 token 并随后执行立体匹配的双重挑战带来了重大挑战，特别是在训练稳定性方面。为了解决这个问题，我们提出使用一个通过指数移动平均（EMA）更新的辅助网络（教师），连同原始立体模型（学生），其中教师预测作为伪监督信号，以有效地将知识蒸馏到学生模型中。所提出的方法在 ETH3D 和 KITTI 2015 等多个立体匹配基准上取得了 SOTA 性能。此外，为了证明我们的模型有效利用了局部归纳偏置，我们提供了注意力距离测量。
引用
@article{arxiv.2409.02846,
title = {MaDis-Stereo: Enhanced Stereo Matching via Distilled Masked Image Modeling},
author = {Jihye Ahn and Hyesong Choi and Soomin Kim and Dongbo Min},
journal= {arXiv preprint arXiv:2409.02846},
year = {2025}
}