用于手术手势识别的对称膨胀卷积
图像与视频处理
2020-07-15 v2 计算机视觉与模式识别
摘要
自动手术手势识别是术中计算机辅助与客观手术技能评估的先决条件。已有工作要么需要额外传感器采集运动学数据，要么在从长而未裁剪的手术视频中捕捉时间信息方面存在局限。为应对这些挑战，我们提出一种新颖的时间卷积架构，仅使用RGB视频即可自动检测并分割带有相应边界的手术手势。我们设计的方法采用由自注意力模块桥接的对称膨胀结构，以编码和解码长期时间模式，并据此建立帧间关系。我们在JIGSAWS数据集上的一项基础机器人缝合任务验证了方法的有效性。实验结果表明，我们的方法能够捕捉长期帧依赖关系，在帧级准确率上大幅优于最先进方法至多约6个百分点，F1@50分数约6个百分点。
引用
@article{arxiv.2007.06373,
title = {Symmetric Dilated Convolution for Surgical Gesture Recognition},
author = {Jinglu Zhang and Yinyu Nie and Yao Lyu and Hailin Li and Jian Chang and Xiaosong Yang and Jian Jun Zhang},
journal= {arXiv preprint arXiv:2007.06373},
year = {2020}
}
备注
Accepted to MICCAI 2020