通过反向传播 PnP 优化实现端到端可学习的几何视觉
计算机视觉与模式识别
2020-03-17 v3
摘要
深度网络擅长从大量数据中学习模式。另一方面，许多几何视觉任务被表述为优化问题。为了无缝结合深度学习和几何视觉，端到端地执行学习和几何优化至关重要。针对这一目标，我们提出 BPnP，一种新颖的网络模块，它通过 Perspective-n-Points（PnP）求解器反向传播梯度以指导神经网络的参数更新。基于隐式微分，我们表明“自包含”的 PnP 求解器的梯度可以被准确且高效地推导，如同优化器块是一个可微函数。我们通过将 BPnP 嵌入一个深度模型来验证它，该模型能从训练数据集中学习相机内参、相机外参（位姿）和三维结构。此外，我们开发了一个端到端可训练的物体位姿估计流水线，它通过结合基于特征的热图损失与 2D-3D 重投影误差实现了更高的精度。由于我们的方法可扩展到其他优化问题，我们的工作有助于以原则性方式执行可学习几何视觉。我们的 BPnP 的 PyTorch 实现可在 http://github.com/BoChenYS/BPnP 获取。
引用
@article{arxiv.1909.06043,
title = {End-to-End Learnable Geometric Vision by Backpropagating PnP Optimization},
author = {Bo Chen and Alvaro Parra and Jiewei Cao and Nan Li and Tat-Jun Chin},
journal= {arXiv preprint arXiv:1909.06043},
year = {2020}
}
备注
CVPR 2020