PDZSeg：基于视觉提示在机器人辅助内窥黏膜切除中适配基础模型的切除区分割
计算机视觉与模式识别
2024-11-28 v1 人工智能
摘要
目的：内窥手术环境因组织类型边界不清晰，导致切除区分割错误，模型易误判或忽略边缘。本研究旨在提高内窥黏膜切除（ESD）期间的切除区建议精度，从而增强ESD的安全性。方法：本文提出基于提示的切除区分割（PDZSeg）模型，设计用于利用scribbles和边界框等多样化视觉提示。通过在图像上叠加这些提示并在专门数据集上微调基础模型，我们的方法通过灵活的输入方式提高了分割性能和用户体验。结果：PDZSeg模型通过三个实验 setup 进行验证：域内评估、视觉提示可用性变异性以及鲁棒性评估。使用ESD-DZSeg数据集，结果表明该方法优于基于切除区分割的先进方法。这项研究是首次将视觉提示设计集成到切除区分割中。结论：PDZSeg模型有效利用视觉提示提高了分割性能和用户体验， novel ESD-DZSeg数据集作为切除区分割的基准得到支持。我们的工作为未来研究奠定了基础。
引用
@article{arxiv.2411.18169,
title = {PDZSeg: Adapting the Foundation Model for Dissection Zone Segmentation with Visual Prompts in Robot-assisted Endoscopic Submucosal Dissection},
author = {Mengya Xu and Wenjin Mo and Guankun Wang and Huxin Gao and An Wang and Zhen Li and Xiaoxiao Yang and Hongliang Ren},
journal= {arXiv preprint arXiv:2411.18169},
year = {2024}
}