HOLa: HoloLens 目标标注
计算机视觉与模式识别
2025-01-03 v2 机器学习
摘要
在医学增强现实（AR）应用中，目标追踪是一项关键挑战，需要大量标注掩膜。随着分割基础模型（如 Segment Anything Model (SAM)）的出现，零样本分割仅需最少的人工参与即可获得高质量的目标掩膜。我们提出了一种基于 SAM-Track 算法的 HoloLens-Object-Labeling (HOLa) Unity 与 Python 应用程序，可为 HoloLens 2 提供全自动单目标标注，且仅需最少的人工参与。HOLa 无需针对特定图像外观进行调整，因此可缓解任何应用领域的 AR 研究。我们在开放肝脏手术和医学体模实验中，针对不同程度的图像复杂度对 HOLa 进行了评估。使用 HOLa 进行图像标注可将标注速度提升 500 倍以上，同时提供介于 0.875 至 0.982 之间的 Dice 分数，与人工标注者相当。我们的代码已公开发布：https://github.com/mschwimmbeck/HOLa
引用
@article{arxiv.2412.04945,
title = {HOLa: HoloLens Object Labeling},
author = {Michael Schwimmbeck and Serouj Khajarian and Konstantin Holzapfel and Johannes Schmidt and Stefanie Remmele},
journal= {arXiv preprint arXiv:2412.04945},
year = {2025}
}