EndoControlMag: 具有周期性参考重置与分层组织感知双掩码控制的鲁棒内窥镜血管运动放大
图像与视频处理
2025-07-25 v4 人工智能
计算机视觉与模式识别
摘要
在内窥镜手术中可视化微妙的血管运动对于手术精度和决策至关重要,但由于手术场景的复杂性和动态性,这仍然具有挑战性。为了解决这个问题,我们引入了EndoControlMag,这是一个无需训练、基于拉格朗日的框架,具有针对内窥镜环境定制的掩码条件血管运动放大功能。我们的方法包含两个关键模块:一个周期性参考重置(PRR)方案,它将视频分割成短的重叠片段,并动态更新参考帧以防止误差累积,同时保持时间一致性;以及一个具有双模式掩码膨胀的分层组织感知放大(HTM)框架。HTM首先使用预训练的视觉跟踪模型跟踪血管核心,以在遮挡和视角变化的情况下保持准确定位。然后,它对周围组织应用两种自适应软化策略之一:基于运动的软化,根据观察到的组织位移比例调节放大强度;或基于距离的指数衰减,模拟生物力学力的衰减。这种双模式方法适应了不同的手术场景——基于运动的软化在处理复杂的组织变形时表现出色,而基于距离的软化在光流条件不可靠时提供稳定性。我们在我们的EndoVMM24数据集上评估了EndoControlMag,该数据集涵盖四种不同的手术类型和各种具有挑战性的场景,包括遮挡、器械干扰、视角变化和血管变形。定量指标、视觉评估和外科专家评估表明,EndoControlMag在放大精度和视觉质量方面显著优于现有方法,同时在具有挑战性的手术条件下保持鲁棒性。代码、数据集和视频结果可在https://szupc.github.io/EndoControlMag/获取。
引用
@article{arxiv.2507.15292,
title = {EndoControlMag: Robust Endoscopic Vascular Motion Magnification with Periodic Reference Resetting and Hierarchical Tissue-aware Dual-Mask Control},
author = {An Wang and Rulin Zhou and Mengya Xu and Yiru Ye and Longfei Gou and Yiting Chang and Hao Chen and Chwee Ming Lim and Jiankun Wang and Hongliang Ren},
journal= {arXiv preprint arXiv:2507.15292},
year = {2025}
}