TouchMap-OR：手-表面接触的多视角 3D 映射
计算机视觉与模式识别
2026-05-19 v1
摘要
医务人员、患者与医疗设备之间的手-表面相互作用在医疗程序中在病原体传播中发挥核心作用。然而，这些相互作用大多未被观察到，因为当前感染防范实践依赖于手动观察，无法重建详细的接触历史。在本工作中，我们构建了手-表面相互作用的身份解析重建问题，并引入 TouchMap-OR，一个多视角 RGB-D 视觉系统，该系统建模医务人员、可 articulable 手几何以及临床环境的语义结构，以推断接触何时何地发生。该系统在摄像机之间重建全局一致的多人 3D 骨骼轨迹，同时从 RGB 观察中估计可 articulable MANO 手网格，对齐深度数据。多视角手重建被融合并与跟踪的医务人员关联，以获得一致的左手和右手轨迹。基于多视角分割和深度融合构建临床操作室的语义 3D 模型，使重建的手轨迹能够映射到特定表面，包括医疗设备、可移动物体和患者身体部位。用于推断接触事件的时序手-表面接近性描述了哪位医务人员在何时接触了哪个表面。我们在三个真实麻醉启动记录上进行评估，使用手动标注的接触事件。TouchMap-OR 实现了 0.75 的二元接触 F1，优于基于跟踪的基线，同时保持可 comparable 的多人跟踪准确性，并实现了 0.96 的身份归因准确性。
引用
@article{arxiv.2605.17638,
title = {TouchMap-OR: Multi-View 3D Mapping of Hand-Surface Contacts},
author = {Sophokles Ktistakis and Rui Wang and Bastian Grande and Hugo Sax},
journal= {arXiv preprint arXiv:2605.17638},
year = {2026}
}