GOCor:将全局优化对应体引入你的神经网络
计算机视觉与模式识别
2021-04-06 v4
摘要
特征关联层作为关键神经网络模块,存在于众多涉及图像对之间稠密对应的计算机视觉问题中。它通过评估从两幅图像中两处位置提取的特征向量之间的稠密标量积来预测对应体。然而,当需消歧图像中多个相似区域时,这种逐点特征比较是不够的,严重影响了最终任务的性能。我们提出 GOCor,一种全可微稠密匹配模块,作为特征关联层的直接替代。我们的模块生成的对应体是一次内部优化过程的结果,该过程显式考虑了场景中的相似区域。此外,我们的方法能够有效学习空间匹配先验以进一步解决匹配歧义。我们在大量消融实验中分析了 GOCor 模块。当集成到最先进网络中时,我们的方法在几何匹配、光流和稠密语义匹配任务上显著优于特征关联层。代码与训练模型将发布于 github.com/PruneTruong/GOCor。
引用
@article{arxiv.2009.07823,
title = {GOCor: Bringing Globally Optimized Correspondence Volumes into Your Neural Network},
author = {Prune Truong and Martin Danelljan and Luc Van Gool and Radu Timofte},
journal= {arXiv preprint arXiv:2009.07823},
year = {2021}
}
备注
code: https://github.com/PruneTruong/GOCor. Website: https://prunetruong.com/research/gocor. Video: https://www.youtube.com/watch?v=V22MyFChBCs. NeurIPS 2020