面向手术图像分割的 VLM 指导迭代细化
计算机视觉与模式识别
2026-02-11 v1 人工智能
多智能体系统
摘要
手术图像分割是机器人辅助手术和内operative 指导的关键技术。然而现有方法受限于预定义类别,仅提供一次性预测,且缺乏临床医生交互机制。我们提出 IR-SIS,一个接受自然语言描述的手术图像迭代细化系统。IR-SIS 利用微调的 SAM3 进行初始分割,采用视觉语言模型检测器械并评估分割质量,并应用智能体工作流程自适应选择细化策略。系统支持通过自然语言反馈进行临床医生在环交互。我们还从 EndoVis2017 和 EndoVis2018 数据集构建了多粒度语言标注数据集。实验表明在域内外数据上实现状态最佳性能,临床医生交互提供额外改进。我们的工作建立了首个具备自适应自我细化能力的语言基手术分割框架。
引用
@article{arxiv.2602.09252,
title = {VLM-Guided Iterative Refinement for Surgical Image Segmentation with Foundation Models},
author = {Ange Lou and Yamin Li and Qi Chang and Nan Xi and Luyuan Xie and Zichao Li and Tianyu Luan},
journal= {arXiv preprint arXiv:2602.09252},
year = {2026}
}