机器人手术中的手势识别:综述
计算机视觉与模式识别
2021-02-02 v1 机器人学
摘要
目的:手术活动识别是计算机辅助介入中的基础步骤。本文综述了机器人手术中细粒度手势自动识别方法的研究现状,重点关注近期数据驱动的方法,并概述了开放性问题与未来研究方向。方法:在 5 个文献数据库上以如下检索词进行文章检索:robotic、robot-assisted、JIGSAWS、surgery、surgical、gesture、fine-grained、surgeme、action、trajectory、segmentation、recognition、parsing。所选文章根据训练所需监督程度进行分类,并划分为代表时间序列分析与数据建模主要框架的不同组别。结果:共综述 52 篇文章。该研究领域呈现快速扩张态势,多数文章发表于近 4 年。具有判别性特征提取与多模态数据融合的基于深度学习的时间模型在小型手术数据集上展现出有前景的结果。目前,无监督方法的性能显著逊于有监督方法。结论:开发和验证鲁棒的手术手势识别解决方案,关键在于构建大规模、多样化且开源的标注演示数据集。尽管判别性特征提取与知识迁移的新策略或无监督、半监督方法可缓解对数据与标签的需求,但其尚未被证明能达到可比性能。重要的未来研究方向包括手势特定错误与异常的检测和预测。意义:本文对手术手势识别方法进行了全面且结构化的分析,旨在总结这一快速发展领域的现状。
引用
@article{arxiv.2102.00027,
title = {Gesture Recognition in Robotic Surgery: a Review},
author = {Beatrice van Amsterdam and Matthew J. Clarkson and Danail Stoyanov},
journal= {arXiv preprint arXiv:2102.00027},
year = {2021}
}
备注
in IEEE Transactions on Biomedical Engineering, 2021