基于计算机断层扫描的多模态三维姿态与形状估计
计算机视觉与模式识别
2026-03-19 v2
摘要
在围手术期护理中,精确的床上三维患者姿态与形状估计 (PSE) 对于优化术前规划中的患者定位、实现基于增强现实的手术导航中医学图像的精确叠加,以及降低恢复期长期卧床的风险至关重要。依赖 RGB-D、红外或压力图等模态的传统 PSE 方法常因被褥遮挡和复杂的患者体位而难以应对,导致估计不准确,进而影响临床结果。为应对这些挑战,我们提出了首个多模态床上患者三维 PSE 网络 (mPSE-CT),融合了常规采集的计算机断层扫描 (CT) 图像所提取的精细几何特征与深度图。mPSE-CT 包含一个利用概率对应对齐的形状估计模块、一个采用精细化神经网络的姿态估计模块,以及一个最终的参数混合模块。该多模态网络能够稳健地重建被遮挡的身体区域,并提升估计三维人体网格模型的精度。我们在临床场景下使用专有的全身刚性体模与志愿者数据集对 mPSE-CT 进行了验证。在姿态与形状估计方面,mPSE-CT 分别比此前最佳方法高出 23% 与 49.16%,展示了其在具有挑战性的围手术期环境中改善临床结果的潜力。
引用
@article{arxiv.2503.19405,
title = {Multi-modal 3D Pose and Shape Estimation with Computed Tomography},
author = {Mingxiao Tu and Hoijoon Jung and Alireza Moghadam and Jineel Raythatha and Lachlan Allan and Jeremy Hsu and Andre Kyme and Jinman Kim},
journal= {arXiv preprint arXiv:2503.19405},
year = {2026}
}