妇科腹腔镜视频记录中的动作识别
计算机视觉与模式识别
2023-12-01 v1
摘要
动作识别是腹腔镜视频分析中许多应用的前提，包括但不限于手术培训、手术室规划、后续手术准备、术后手术评估和手术结果估计。然而，腹腔镜手术中的自动动作识别涉及诸多挑战，例如（I）动作间与动作内时长变化，（II）由于烟雾、积血、快速相机运动、器官运动、物体遮挡导致的相关内容失真，以及（III）由于不同光照和视角引起的手术场景变化。此外，腹腔镜手术中的动作标注因需要专家知识而有限且昂贵。在本研究中，我们设计并评估了一种 CNN-RNN 架构以及定制化的训练-推理框架，以应对上述腹腔镜手术动作识别中的挑战。利用堆叠的循环层，我们提出的网络借助帧间依赖关系来消除内容失真和变化对动作识别的负面影响。此外，我们提出的帧采样策略有效管理了手术动作的时长变化，从而实现高时间分辨率的动作识别。我们大量的实验证实了所提方法在动作识别上相对于静态 CNN 的优越性。
引用
@article{arxiv.2311.18666,
title = {Action Recognition in Video Recordings from Gynecologic Laparoscopy},
author = {Sahar Nasirihaghighi and Negin Ghamsarian and Daniela Stefanics and Klaus Schoeffmann and Heinrich Husslein},
journal= {arXiv preprint arXiv:2311.18666},
year = {2023}
}