EasyVis2：基于 YOLOv8-Pose 深度神经网络的腹式手术训练实时多视角3D可视化系统
计算机视觉与模式识别
2025-04-10 v2
摘要
EasyVis2 是一个为腹式手术训练提供无接触、实时3D可视化的系统。其采用装有微型摄像机阵列的手术套管，可插入体腔内提供增强的视野和手术程序的3D视角。运用特殊深度神经网络算法YOLOv8-Pose，用于估计每个单个摄像机视角中手术器械的位置和姿态。这些多视角估计使我们能够计算手术工具的3D姿态，实现对器械3D表面模型的渲染，并叠加在背景场景上进行实时可视化。本研究介绍了将YOLOv8-Pose适配到EasyVis2系统的方法，包括开发针对性训练数据集的过程。实验结果表明，在相同摄像机数量下，新系统提高了3D重建精度并减少了计算时间。此外，适配后的YOLOv8-Pose系统在2D姿态估计方面显示出高精度。
关键词
引用
@article{arxiv.2412.16742,
title = {EasyVis2: A Real Time Multi-view 3D Visualization System for Laparoscopic Surgery Training Enhanced by a Deep Neural Network YOLOv8-Pose},
author = {Yung-Hong Sun and Gefei Shen and Jiangang Chen and Jayer Fernandes and Amber L. Shada and Charles P. Heise and Hongrui Jiang and Yu Hen Hu},
journal= {arXiv preprint arXiv:2412.16742},
year = {2025}
}
备注
11 pages (12 pages with citations), 12 figures