基于长短时空聚合 Transformer 的白内障显微手术阶段特异性增强现实引导
计算机视觉与模式识别
2023-11-02 v2
摘要
超声乳化白内障手术(PCS)是一种借助手术显微镜开展的常规操作,高度依赖眼科医生的技能。现有 PCS 引导系统虽从手术显微镜视频中提取有价值信息以提升术中熟练度,但存在非阶段特异性引导问题,导致冗余视觉信息。本研究的主要贡献是开发了一种新颖的阶段特异性增强现实(AR)引导系统,其提供与所识别手术阶段相对应的定制化 AR 信息。利用 PCS 操作固有的准标准化特性,我们提出了一种两阶段手术显微镜视频识别网络。第一阶段,我们采用多任务学习结构分割手术 Limbus 区域并提取每帧聚焦于 Limbus 区域的空间特征。第二阶段,我们提出长短时空聚合 Transformer (LS-SAT) 网络以建模局部细粒度与全局时间关系,并结合提取的空间特征识别当前手术阶段。此外,我们与眼科医生紧密合作,利用 Limbus 椭圆拟合与区域受限正态互相关旋转计算等技术设计 AR 视觉提示。我们在公开可用与内部数据集上评估了该网络,对比结果表明其性能优于相关作品。消融实验进一步验证了聚焦于 Limbus 区域的空间特征提取器及时间特征组合的有效性。此外,所开发系统在临床环境中进行了评估,结果表明其具有显著的准确性与实时性能,凸显了其临床应用潜力。
引用
@article{arxiv.2309.05209,
title = {Phase-Specific Augmented Reality Guidance for Microscopic Cataract Surgery Using Long-Short Spatiotemporal Aggregation Transformer},
author = {Puxun Tu and Hongfei Ye and Haochen Shi and Jeff Young and Meng Xie and Peiquan Zhao and Ce Zheng and Xiaoyi Jiang and Xiaojun Chen},
journal= {arXiv preprint arXiv:2309.05209},
year = {2023}
}