基于RGB-D数据三维图像结构模型的铰接式临床医生检测
计算机视觉与模式识别
2017-01-26 v4
摘要
可靠的人体姿态估计(HPE)对于许多临床应用至关重要,例如手术流程分析、辐射安全监测和人机协作。针对手术室(OR)提出的现有方法要么依赖于使用多相机系统进行前景估计,这在真实手术室内由于颜色相似性和频繁的照明变化而具有挑战性;要么依赖于可穿戴传感器或标记,这些是侵入性的,因此难以引入房间。相反,我们提出了一种基于图像结构模型(PS)和RGB-D数据的新方法,可轻松部署在真实手术室内。我们从两个方面扩展了PS框架。首先,我们利用彩色和深度图像构建鲁棒且具有判别力的部件检测器。我们还提出了一种用于深度图像的新描述子,称为深度差异直方图(HDD)。其次,我们通过提出三维成对约束和一种使精确推断易于处理的新方法,将PS扩展到3D。我们的方法在一个繁忙手术室中真实手术期间记录的具有挑战性的RGB-D数据集上针对姿态估计和临床医生检测进行了评估。我们进行了一系列实验,以研究不同的部件检测器与各种2D或3D成对约束的结合。我们的比较表明,带有RGB-D部件检测器的3D PS在视觉上具有挑战性的手术环境中显著改善了结果。
引用
@article{arxiv.1602.03468,
title = {Articulated Clinician Detection Using 3D Pictorial Structures on RGB-D Data},
author = {Abdolrahim Kadkhodamohammadi and Afshin Gangi and Michel de Mathelin and Nicolas Padoy},
journal= {arXiv preprint arXiv:1602.03468},
year = {2017}
}
备注
The supplementary video is available at https://youtu.be/iabbGSqRSgE