在金字塔层级上改进光流估计
计算机视觉与模式识别
2020-07-21 v2
摘要
在本工作中，我们回顾了由粗到细的空间特征金字塔概念，该概念被用于当前最优的光流估计网络中，以使像素流搜索空间的计算探索可行且高效。在单个金字塔层级内，我们通过从基于变形的策略转向基于采样的策略来改进代价体构建过程，这避免了重影现象，从而使我们能够更好地保留精细光流细节。我们通过一种层级特定的损失最大池化策略进一步放大正向效果，该策略自适应地将学习过程的焦点转移到表现不佳的预测上。我们的第二个贡献修订了跨金字塔层级的梯度流。每个金字塔层级执行的典型操作可能导致跨层级的含噪甚至相互矛盾的梯度。我们展示并讨论了如何适当阻断其中某些梯度分量可带来改进的收敛性并最终提升性能。最后，我们引入一种蒸馏概念以抵消灾难性遗忘问题，从而在使用多个数据集顺序训练的模型上保留知识。我们的发现概念上简单且易于实现，却在相关误差度量上带来显著改进，我们通过在Flying Chairs2、Flying Things、Sintel和KITTI等数据集上的详尽消融实验加以证明。我们在具有挑战性的Sintel和KITTI 2012测试数据集上建立了新的最优结果，甚至展示了我们的发现向不同光流及立体深度估计方法的可迁移性。
引用
@article{arxiv.1912.10739,
title = {Improving Optical Flow on a Pyramid Level},
author = {Markus Hofinger and Samuel Rota Bulò and Lorenzo Porzi and Arno Knapitsch and Thomas Pock and Peter Kontschieder},
journal= {arXiv preprint arXiv:1912.10739},
year = {2020}
}