EPro-PnP：面向单目物体位姿估计的广义端到端概率性透视n点法
计算机视觉与模式识别
2022-08-12 v4
摘要
通过透视n点法(PnP)从单张RGB图像中定位3D物体是计算机视觉中一个长期存在的问题。在端到端深度学习的驱动下，近期研究建议将PnP解释为一个可微分层，从而可以通过反向传播关于物体位姿的梯度来部分学习2D-3D点对应关系。然而，使用现有方法从零开始学习整套无约束的2D-3D点无法收敛，因为确定性位姿本质上是不可微的。本文中，我们提出EPro-PnP，一种用于通用端到端位姿估计的概率性PnP层，其在SE(3)流形上输出位姿的分布，本质上将类别型Softmax引入连续域。2D-3D坐标及对应权重被视为通过最小化预测位姿分布与目标位姿分布之间KL散度所学习的中间变量。其底层原理统一了现有方法并类似于注意力机制。EPro-PnP显著优于竞争基线，在LineMOD 6DoF位姿估计与nuScenes 3D物体检测基准上缩小了基于PnP的方法与任务专用领先方法之间的差距。
引用
@article{arxiv.2203.13254,
title = {EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Points for Monocular Object Pose Estimation},
author = {Hansheng Chen and Pichao Wang and Fan Wang and Wei Tian and Lu Xiong and Hao Li},
journal= {arXiv preprint arXiv:2203.13254},
year = {2022}
}
备注
CVPR 2022 Best Student Paper, code available at https://github.com/tjiiv-cprg/EPro-PnP