POV-Surgery：用于手术活动中以自我为中心视角下手与工具姿态估计的数据集
计算机视觉与模式识别
2023-10-05 v1
摘要
混合现实（MR）在手术导航系统、技能评估和机器人辅助手术等领域的手术应用受到越来越多的关注。对于此类应用，从以自我为中心视角出发的手部与手术器械的姿态估计是一项基础任务，近年来在计算机视觉领域已被广泛研究。然而，该领域的发展一直受限于数据集的缺乏，尤其在手术领域，沾血的手套和反光金属工具使得利用常规方法难以获取手与物体的 3D 姿态标注。为解决此问题，我们提出 POV-Surgery，一个大规模、合成、以自我为中心的数据集，聚焦于佩戴不同手术手套的手以及三种骨科手术器械（即 scalpel、friem 和 diskplacer）的姿态估计。我们的数据集包含 53 个序列和 88,329 帧，具有高分辨率 RGB-D 视频流及活动标注、精确的手-物姿态 3D 与 2D 标注，以及 2D 手-物分割掩码。我们在 POV-Surgery 上微调当前 SOTA 方法，并通过大量评估进一步展示了在具有手术手套和工具的真实场景应用中的泛化能力。代码与数据集公开于 batfacewayne.github.io/POV_Surgery_io/。
引用
@article{arxiv.2307.10387,
title = {POV-Surgery: A Dataset for Egocentric Hand and Tool Pose Estimation During Surgical Activities},
author = {Rui Wang and Sophokles Ktistakis and Siwei Zhang and Mirko Meboldt and Quentin Lohmeyer},
journal= {arXiv preprint arXiv:2307.10387},
year = {2023}
}