GraftNet：面向域泛化立体匹配中具有广谱性与任务导向的特征
计算机视觉与模式识别
2022-04-04 v1
摘要
尽管有监督的深度立体匹配网络已取得令人印象深刻的成就，但由域间隙引起的较差泛化能力阻碍了它们在真实场景中的应用。本文提出利用在大规模数据集上训练的模型的特征来处理域偏移，因为该模型已见过多种风格的图像。以基于余弦相似度的代价体作为桥梁，该特征将被嫁接至普通的代价聚合模块。尽管具有广谱表示能力，此类低级特征包含许多并非针对立体匹配的一般信息。为恢复更多任务特定信息，被嫁接的特征在计算代价前进一步输入浅层网络进行变换。大量实验表明，这种广谱且任务导向的特征可显著提升模型泛化能力。具体而言，基于两种知名架构PSMNet和GANet，我们的方法在从SceneFlow迁移到KITTI 2015、KITTI 2012和Middlebury时优于其他鲁棒算法。代码见https://github.com/SpadeLiu/Graft-PSMNet。
引用
@article{arxiv.2204.00179,
title = {GraftNet: Towards Domain Generalized Stereo Matching with a Broad-Spectrum and Task-Oriented Feature},
author = {Biyang Liu and Huimin Yu and Guodong Qi},
journal= {arXiv preprint arXiv:2204.00179},
year = {2022}
}
备注
Accepted by CVPR 2022