基于可解释空间特征提取的双向多层独立循环神经网络手术手势识别
计算机视觉与模式识别
2021-05-04 v1 机器人学
摘要
微创手术主要由一系列子任务组成，这些子任务可分解为基本手势或情境。作为自主操作的先决条件，手术手势识别可辅助运动规划与决策，并建立情境感知知识以提升手术机器人控制质量。本工作中，我们旨在开发一种具有可解释特征提取过程的有效手术手势识别方法。本文提出一种双向多层独立循环神经网络（BML-indRNN）模型，而空间特征提取通过基于 VGG 架构构建的深度卷积神经网络（DCNN）模型的微调来实现。为消除 DCNN 的黑箱效应，采用了梯度加权类激活映射（Grad-CAM）。它可通过显示与手术手势分类结果强相关的手术图像区域来提供可解释结果。所提方法基于从公开可用的 JIGSAWS 数据库获取的缝合任务数据进行了评估。开展了对比研究以验证所提框架。结果表明，基于我们所提方法的缝合任务测试准确率为 87.13%，优于大多数现有最优算法。
引用
@article{arxiv.2105.00460,
title = {Surgical Gesture Recognition Based on Bidirectional Multi-Layer Independently RNN with Explainable Spatial Feature Extraction},
author = {Dandan Zhang and Ruoxi Wang and Benny Lo},
journal= {arXiv preprint arXiv:2105.00460},
year = {2021}
}
备注
11 pages,6 figures, Accepted by ICRA2021