基于超分辨率的机器人辅助微创手术实时手术环境增强
图像与视频处理
2020-11-10 v1 计算机视觉与模式识别
摘要
在机器人辅助微创手术（RAMIS）中，通常需要一名摄像助手根据外科医生指令控制腹腔镜的位置与变焦比。然而，频繁移动腹腔镜可能导致视野不稳定且欠佳，而变焦比的调整可能打断手术操作的工作流。为此，我们提出一种基于多尺度生成对抗网络（GAN）的视频超分辨率方法，以构建自动变焦比调整框架。它能在手术过程中为感兴趣区域（ROI）的高质量可视化提供自动实时变焦。在该框架的流程中，核相关滤波（KCF）跟踪器用于跟踪手术器械尖端，而基于半全局块匹配（SGBM）的深度估计与基于循环神经网络（RNN）的上下文感知被用于确定变焦的放大倍率。该框架在 JIGSAW 数据集与 Hamlyn Centre 腹腔镜/内窥镜视频数据集上得到验证，结果证明了其实用性。
引用
@article{arxiv.2011.04003,
title = {Real-time Surgical Environment Enhancement for Robot-Assisted Minimally Invasive Surgery Based on Super-Resolution},
author = {Ruoxi Wang and Dandan Zhang and Qingbiao Li and Xiao-Yun Zhou and Benny Lo},
journal= {arXiv preprint arXiv:2011.04003},
year = {2020}
}