通过HMM稳定的深度学习实现高效手术工具识别
计算机视觉与模式识别
2024-04-09 v1 应用统计
摘要
从手术视频中识别各种手术工具、动作和阶段是计算机视觉中的一个重要问题，具有令人兴奋的临床应用。现有的基于深度学习的方法要么将每个手术视频视为一系列独立图像而不考虑其依赖性，要么依赖复杂的深度学习模型来考虑视频帧的依赖性。在本研究中，我们从探索性数据分析中发现，手术视频具有相对简单的语义结构，其中手术阶段和工具的存在可以通过一个紧凑的隐马尔可夫模型（HMM）很好地建模。基于这一观察，我们提出了一种HMM稳定的深度学习方法用于工具存在检测。大量实验表明，所提出的方法以更低的训练和运行成本实现了更好的性能，并支持在并非所有感兴趣的手术视频都被广泛标注的情况下，以更灵活的方式构建和利用训练数据。这些结果表明，具有过于复杂模型结构的流行深度学习方法可能无法有效利用数据，而明智地整合深度学习和统计学习的要素可能会产生更强大的算法，同时具有竞争性能、透明解释和便捷的模型训练。
引用
@article{arxiv.2404.04992,
title = {Efficient Surgical Tool Recognition via HMM-Stabilized Deep Learning},
author = {Haifeng Wang and Hao Xu and Jun Wang and Jian Zhou and Ke Deng},
journal= {arXiv preprint arXiv:2404.04992},
year = {2024}
}