基于 CNN 的光流补丁匹配与阈值铰链嵌入损失
计算机视觉与模式识别
2020-05-26 v4 机器学习
神经与进化计算
摘要
基于学习的方法在光流估计中尚未发挥其全部潜力，其性能仍落后于启发式方法。在本文中，我们提出了一种用于光流估计的基于 CNN 的补丁匹配方法。我们方法的一个重要贡献是针对孪生网络的一种新型阈值损失函数。我们证明我们的损失函数明显优于现有损失函数。它还允许在我们的测试中将训练速度提高 2 倍。此外，我们提出了一种计算不同图像尺度下基于 CNN 特征的新方法，其性能优于现有方法。我们还讨论了评估训练特征在光流补丁匹配应用中鲁棒性的新方法。我们论文中的一个有趣发现是，对特征图进行低通滤波可以增加 CNN 生成特征的鲁棒性。我们通过将该方法提交至 KITTI 2012、KITTI 2015 和 MPI-Sintel 评估门户证明了其具有竞争力的性能，我们在所有三个数据集上均获得了最先进 (SOTA) 的结果。
引用
@article{arxiv.1607.08064,
title = {CNN-based Patch Matching for Optical Flow with Thresholded Hinge Embedding Loss},
author = {Christian Bailer and Kiran Varanasi and Didier Stricker},
journal= {arXiv preprint arXiv:1607.08064},
year = {2020}
}
备注
Fixed bracket error in equation 3 (it has no major influence in the approach, but on the optimal t value)