基于视觉手部跟踪的无接触内手术图像访问系统
计算机视觉与模式识别
2026-04-28 v1
摘要
医学图像的无接触交互在外科领域日益重要，其中卫生性和操作工作流程的连续性是关键要求。本文提出了一种基于视觉的内手术导航系统，通过单摄像机获取手势进行交互。不同于许多现有解决方案，本系统无需额外硬件或用户特定训练。手部跟踪使用 MediaPipe Hands 实时完成，提供 2.5D 手部关键点估计。随后，将简单直观的手势映射为平移、旋转和缩放命令，实现对图像查看器的连续自然交互。该系统架构独立于可视化软件，为实现简单性，本研究将其集成到 PyVista 中。通过帧级记录和对延迟、稳定性和交互鲁棒性指标的定量分析进行评估。实验结果显示系统实现了实时行为，延迟降低且控制稳定，符合流畅交互的要求。该系统证明了低成本无接触内手术医学图像访问的可行性，为未来临床评估奠定了基础。
引用
@article{arxiv.2604.24235,
title = {Touchless Intraoperative Image Access System Based on Vision-Based Hand Tracking},
author = {Yin Lin and Domenico Aquino and Alberto Redaelli and Massimiliano Del Bene and Riccardo Barbieri and Simona Ferrante},
journal= {arXiv preprint arXiv:2604.24235},
year = {2026}
}