仅使用光流的外科手术手势识别
计算机视觉与模式识别
2020-05-19 v2
摘要
本文中，我们解决仅利用视频数据运动线索进行外科手术手势识别的开放性研究问题。我们改进了 Simonyan 等人最初提出的 Optical flow ConvNets。Simonyan 同时使用 RGB 帧与稠密光流，而我们仅使用稠密光流表示作为输入，以强调运动在外科手术手势识别中的作用，并将其作为运动学数据的一种鲁棒替代方案。我们还通过跨模态预训练初始化模型，克服了 Optical flow ConvNets 的局限之一。大量针对外科手术手势识别的有前景的研究高度依赖运动学数据，而这需要额外的记录设备。据我们所知，这是首篇仅使用稠密光流信息解决外科手术手势识别的论文。我们在 JIGSAWS 数据集上取得了有竞争力的结果，此外，我们的模型以更小的标准差实现了更鲁棒的结果，这表明光流信息可用作运动学数据的替代方案以识别外科手术手势。
引用
@article{arxiv.1904.01143,
title = {Surgical Gesture Recognition with Optical Flow only},
author = {Duygu Sarikaya and Pierre Jannin},
journal= {arXiv preprint arXiv:1904.01143},
year = {2020}
}