HMD-EgoPose：基于头戴式显示器的无标记第一人称工具与手部姿态估计用于增强手术引导
计算机视觉与模式识别
2022-05-23 v2
摘要
现代计算机辅助手术程序的成败取决于被跟踪器械与组织精确的六自由度（6DoF）位置与朝向（姿态）估计。本文中，我们提出 HMD-EgoPose，一种基于学习的单阶段手部与物体姿态估计方法，并在单目红绿蓝（RGB）6DoF 无标记手部与手术器械姿态跟踪的基准数据集上展示了最先进的性能。此外，我们通过低延迟流式传输方法揭示了我们的 HMD-EgoPose 框架在商用光学透视头戴式显示器（OST-HMD）上实现高性能 6DoF 姿态估计的能力。我们的框架利用高效的卷积神经网络（CNN）骨干进行多尺度特征提取，以及一组子网络联合学习刚性手术钻头器械的 6DoF 姿态表示与用户手的抓握朝向。为使我们的方法可用于商用 OST-HMD Microsoft HoloLens 2，我们创建了与能够进行优化网络推理的高性能计算工作站进行低延迟视频与数据通信的流水线。HMD-EgoPose 在手术工具姿态估计的基准数据集上优于当前最先进方法，在真实数据上达到平均工具三维顶点误差 11.0 mm，并推进了临床可行无标记跟踪策略的进展。通过我们的低延迟流式方法，在与 OST-HMD 集成时实现了姿态估计与跟踪模型增强可视化的往返延迟 199.1 ms。我们的单阶段学习方法对遮挡与复杂表面具有鲁棒性，并改进了当前最先进的工具与手部无标记姿态估计方法。
引用
@article{arxiv.2202.11891,
title = {HMD-EgoPose: Head-Mounted Display-Based Egocentric Marker-Less Tool and Hand Pose Estimation for Augmented Surgical Guidance},
author = {Mitchell Doughty and Nilesh R. Ghugre},
journal= {arXiv preprint arXiv:2202.11891},
year = {2022}
}
备注
Accepted for publication in IJCARS; 17 pages, 3 figures