用于立体估计的混合 CNN-CRF 模型的端到端训练
计算机视觉与模式识别
2017-05-04 v2
摘要
我们提出了一种新颖且原理性的混合 CNN+CRF 模型用于立体估计。该模型使我们能够在一个统一的方法中同时利用卷积神经网络（CNN）和条件随机场（CRF）的优势。CNN 计算用于匹配的表达性特征和独特的颜色边缘，这些特征和边缘进而用于计算 CRF 的一元和二元代价。对于推理，我们应用了一种最近提出的高度并行的对偶块下降算法，该算法仅需少量固定次数的迭代即可计算出高质量的近似最小值。作为本文的主要贡献，我们提出了一种基于结构化输出支持向量机（SSVM）的理论上可靠的方法，用于在大规模数据上端到端地训练混合 CNN+CRF 模型。尽管我们使用的是浅层 CNN，并且没有对 CRF 的最终输出进行任何后处理，但我们训练出的模型表现非常出色。我们在具有挑战性的立体基准（如 Middlebury 2014 和 Kitti 2015）上评估了我们的组合模型，并研究了每个单独组件的性能。
引用
@article{arxiv.1611.10229,
title = {End-to-End Training of Hybrid CNN-CRF Models for Stereo},
author = {Patrick Knöbelreiter and Christian Reinbacher and Alexander Shekhovtsov and Thomas Pock},
journal= {arXiv preprint arXiv:1611.10229},
year = {2017}
}
备注
To appear at CVPR 2017