面向单视角锥束 X 射线中物体实时 6D 位姿估计
计算机视觉与模式识别
2022-11-08 v1 机器学习
摘要
基于深度学习的位姿估计算法能够成功估计图像中物体的位姿，尤其在彩色图像领域。基于深度学习模型的 X 射线图像 6D 物体位姿估计常使用定制架构，并采用大量 CAD 模型和仿真数据进行训练。近期基于 RGB 的方法选择使用小数据集解决位姿估计问题，这使得它们对医学数据稀缺的 X 射线领域更具吸引力。我们改进了一种现有的基于 RGB 的模型（SingleShotPose），通过创建仅使用真实 X 射线数据训练并针对 X 射线采集几何进行调整的通用解，从灰度 X 射线图像中估计标记立方体的 6D 位姿。该模型回归 2D 控制点，并利用 Perspective-n-Point（PnP）通过 2D/3D 对应计算位姿，使得单个训练好的模型可用于所有支持的基于锥束的 X 射线几何。由于现代 X 射线系统在操作过程中持续调整采集参数，此类位姿估计网络必须考虑这些参数才能成功部署并找到实际用例。在 5 cm/5 度精度达 93%、平均 3D 旋转误差 2.2 度的情况下，所提方法的结果可与最先进的替代方案相媲美，同时所需真实训练样本显著更少，并适用于实时应用。
引用
@article{arxiv.2211.03211,
title = {Towards real-time 6D pose estimation of objects in single-view cone-beam X-ray},
author = {Christiaan G. A. Viviers and Joel de Bruijn and Lena Filatova and Peter H. N. de With and Fons van der Sommen},
journal= {arXiv preprint arXiv:2211.03211},
year = {2022}
}
备注
Published at SPIE Medical Imaging 2022