KVN：具有可微 RANSAC 的关键点投票网络用于立体姿态估计
计算机视觉与模式识别
2024-03-05 v3 机器人学
摘要
物体姿态估计是一项基础的计算机视觉任务，应用于若干机器人与增强现实应用中。许多成熟方法依赖使用 RANSAC（随机采样一致性）预测 2D-3D 关键点对应关系，并利用 PnP（透视-n-点）算法估计物体姿态。由于 RANSAC 不可微，对应关系无法以端到端方式直接学习。在本文中，我们通过以下方式解决基于立体图像的物体姿态估计问题：i）将可微 RANSAC 层引入知名的单体姿态估计网络；ii）利用可融合多视图信息的不确定性驱动多视图 PnP 求解器。我们在一个具有挑战性的公开立体物体姿态估计数据集以及我们构建的称为透明餐具数据集（TTD）的自定义数据集上评估了我们的方法，相较于其他近期方法取得了最先进的（SOTA）结果。此外，在我们的消融研究中，我们表明可微 RANSAC 层在所提方法的准确性中起着重要作用。我们随本文发布了我们的方法代码与 TTD 数据集。
引用
@article{arxiv.2307.11543,
title = {KVN: Keypoints Voting Network with Differentiable RANSAC for Stereo Pose Estimation},
author = {Ivano Donadi and Alberto Pretto},
journal= {arXiv preprint arXiv:2307.11543},
year = {2024}
}
备注
Published in IEEE Robotics and Automation Letters