PDC-Net+: 增强型概率密集对应网络
计算机视觉与模式识别
2021-09-30 v2
摘要
在图像对之间建立鲁棒且准确的对应关系是一个长期存在的计算机视觉问题，具有众多应用。虽然该领域经典地由稀疏方法主导，但新兴的密集方法提供了一种引人注目的替代范式，避免了关键点检测步骤。然而，在大位移、遮挡或同质区域的情况下，密集光流估计通常不准确。因此，为了将密集方法应用于位姿估计、图像处理或 3D 重建等实际应用，估计预测匹配的置信度至关重要。我们提出了增强型概率密集对应网络（Enhanced Probabilistic Dense Correspondence Network, PDC-Net+），能够估计准确的密集对应关系以及可靠的置信度图。我们开发了一种灵活的概率方法，联合学习光流预测及其不确定性。具体而言，我们将预测分布参数化为一个受约束的混合模型，确保对准确的光流预测和异常值进行更好的建模。此外，我们开发了一种架构和增强的训练策略，专为自监督训练背景下的鲁棒且可泛化的不确定性预测而定制。我们的方法在多个具有挑战性的几何匹配和光流数据集上获得了 SOTA 结果。我们进一步验证了我们的概率置信度估计在位姿估计、3D 重建、基于图像的定位和图像检索任务中的有用性。代码和模型可在 https://github.com/PruneTruong/DenseMatching 获取。
引用
@article{arxiv.2109.13912,
title = {PDC-Net+: Enhanced Probabilistic Dense Correspondence Network},
author = {Prune Truong and Martin Danelljan and Radu Timofte and Luc Van Gool},
journal= {arXiv preprint arXiv:2109.13912},
year = {2021}
}
备注
Code: https://github.com/PruneTruong/DenseMatching. Paper extension of PDC-Net. arXiv admin note: substantial text overlap with arXiv:2101.01710