RoHan：操作室中的鲁棒手部检测
计算机视觉与模式识别
2025-01-16 v2 机器学习
摘要
手部特定定位在计算机视觉社区引发了广泛关注。尽管存在来自各种角度和设置的大量手部标注数据集，但领域迁移技术在外科环境中常常难以实现。这主要是由于手套手部实例稀缺以及操作室(OR)独特挑战导致的。因此，针对OR环境定制的手部检测模型需要大量训练和昂贵的标注过程。为克服这些挑战，我们提出了"RoHan" - 一个面向OR环境中鲁棒手部检测的新方法，利用先进的半监督域适应技术来应对录制条件变化、手套颜色多样以及外科环境中常见的遮挡问题。我们的 methodology 包括两个主要阶段：(1) 数据增强策略利用"人工手套"方法，对公开的手部数据集进行增强，合成佩戴手套的手部图像；(2) 半监督域适应管道通过迭代预测细化和高效帧筛选，提高了在真实OR环境中的检测性能。我们使用两个数据集进行评估：模拟的肠溢创伤修复和静脉移植切除。"RoHan"显著减少了大量标注和模型训练的需求，为在医疗环境中实现手部检测技术的实际应用铺平了道路。
引用
@article{arxiv.2501.08115,
title = {RoHan: Robust Hand Detection in Operation Room},
author = {Roi Papo and Sapir Gershov and Tom Friedman and Itay Or and Gil Bolotin and Shlomi Laufer},
journal= {arXiv preprint arXiv:2501.08115},
year = {2025}
}
备注
12 pages