基于深度特征时间建模的短视频片段手术阶段识别
计算机视觉与模式识别
2021-07-27 v4
摘要
从腹腔镜手术（LS）视频中识别其操作阶段，是手术视频数据库中高效内容表示、索引与检索的基础步骤。文献中多数技术聚焦于利用手工视觉特征、器械使用信号以及近期的卷积神经网络（CNNs）对整个 LS 视频进行阶段分割。本文中，我们处理操作短片段（10秒）的阶段识别问题，不利用前后视频帧、其阶段标签或所用器械的信息。我们考察了四种最先进的 CNN 架构（Alexnet、VGG19、GoogleNet 和 ResNet101），通过迁移学习进行特征提取。采用视觉显著性选取图像中信息最丰富的区域作为 CNN 输入。视频片段表示基于两种时间池化机制。最重要的是，我们考察了“经过时间”（从操作开始起）的作用，并表明加入该特征可大幅提升性能（69% 对 75% 平均准确率）。最后，训练了一个长短期记忆（LSTM）网络，基于 CNN 特征与“经过时间”的融合进行视频片段分类，将准确率提升至 86%。我们的结果凸显了视觉显著性、长程时间递归以及“经过时间”（迄今被忽略的特征）在手术阶段识别中的突出作用。
引用
@article{arxiv.1807.07853,
title = {Surgical Phase Recognition of Short Video Shots Based on Temporal Modeling of Deep Features},
author = {Constantinos Loukas},
journal= {arXiv preprint arXiv:1807.07853},
year = {2021}
}
备注
6 pages, 4 figures, 6 tables