通过仿射学习从专家外科视频中学习解剖轨迹
计算机视觉与模式识别
2025-06-06 v1
摘要
内窥镜黏膜下切除 (ESD) 是一种用于切除表皮病灶的成熟技术。预测 ESD 视频中的解剖轨迹对于提升外科技能训练和简化学习过程具有重要潜力，但该领域仍鲜有探索。虽然仿射学习在从专家演示中获取技能方面显示出前景，但仍面临处理不确定未来运动、学习几何对称性以及泛化到多样外科情景等挑战。为此，我们引入了一种新方法：具备等价表示的隐式扩散政策仿射学习 (iDPOE)。我们的方法通过联合状态-动作分布来建模专家行为，捕捉解剖轨迹的随机性，并实现跨各种内窥镜视角的鲁棒视觉表示学习。通过将扩散模型融入政策学习，iDPOE 实现了高效训练和采样，导致更精确的预测和更好的泛化。此外，我们通过在学习过程中嵌入等价性来增强模型对几何对称性的泛化能力。为解决状态不匹配问题，我们开发了基于前向过程引导的动作推断策略，用于条件采样。使用 nearly 2000 条 ESD 视频剪辑的数据集进行实验，结果表明，我们的方法在轨迹预测中超过了最先进的方法，无论是显式方法还是隐式方法。迄今为止，这是首次将仿射学习应用于外科技能发展，以解剖轨迹预测为例。
引用
@article{arxiv.2506.04716,
title = {Learning dissection trajectories from expert surgical videos via imitation learning with equivariant diffusion},
author = {Hongyu Wang and Yonghao Long and Yueyao Chen and Hon-Chi Yip and Markus Scheppach and Philip Wai-Yan Chiu and Yeung Yam and Helen Mei-Ling Meng and Qi Dou},
journal= {arXiv preprint arXiv:2506.04716},
year = {2025}
}