SurgeonAssist-Net：面向手术引导的基于头戴式显示器的情境感知增强现实
计算机视觉与模式识别
2021-07-15 v1
摘要
我们提出SurgeonAssist-Net：一个轻量框架，使一组预定义手术任务的动作与工作流驱动虚拟辅助可用于市售光学透视头戴式显示器（OST-HMDs）。在一个广泛使用的腹腔镜手术工作流基准数据集上，我们的实现在自动任务识别的预测精度上与最先进方法相当，但所需参数减少7.4倍，每秒浮点运算（FLOPS）减少10.2倍，CPU推理速度提升7.0倍，并能在Microsoft HoloLens 2 OST-HMD上实现近实时性能。为此，我们采用高效的卷积神经网络（CNN）骨干从图像数据提取判别性特征，以及低参数循环神经网络（RNN）架构学习长期时间依赖。为证明我们的方法在HoloLens 2上推理的可行性，我们创建了一个样本数据集，包含以用户为中心视角记录的若干手术任务视频。训练后，我们部署模型并在一个在线模拟手术场景中对其当前手术任务预测性能进行了记录。我们在若干相关临床用例的讨论中探讨了本方法的效用。我们的代码公开于 https://github.com/doughtmw/surgeon-assist-net。
引用
@article{arxiv.2107.06397,
title = {SurgeonAssist-Net: Towards Context-Aware Head-Mounted Display-Based Augmented Reality for Surgical Guidance},
author = {Mitchell Doughty and Karan Singh and Nilesh R. Ghugre},
journal= {arXiv preprint arXiv:2107.06397},
year = {2021}
}
备注
Accepted at MICCAI 2021; 11 pages, 3 figures