任意场景下的手术阶段识别：少样本测试时自适应与任务图引导精炼
计算机视觉与模式识别
2025-07-16 v2
摘要
手术工作流的复杂性和多样性，源于异质的手术室环境、机构协议和解剖变异，这给开发跨机构、跨手术的通用模型带来了巨大挑战。尽管近期在大型视觉-语言数据上预训练的手术基础模型展现出有前景的可迁移性，但其零样本性能仍受限于领域偏移，限制了其在未见手术环境中的实用性。为解决此问题，我们引入了Surgical Phase Anywhere（SPA），一个轻量级框架，用于实现通用的手术工作流理解，能以最少的标注将基础模型适应于机构特定设置。SPA利用少样本空间自适应，将多模态嵌入与机构特定的手术场景和阶段对齐。它还通过扩散建模确保时间一致性，该模型编码了源自机构手术规程的任务图先验。最后，SPA采用动态测试时自适应，利用多模态阶段预测流之间的相互一致性，以自监督方式使模型适应给定的测试视频，从而增强在测试时分布偏移下的可靠性。SPA是一个轻量级自适应框架，允许医院通过用自然语言文本定义阶段、用阶段标签标注少量图像以及提供定义阶段转换的任务图，来快速定制阶段识别模型。实验结果表明，SPA框架在跨多个机构和手术的少样本手术阶段识别中达到了最先进的性能，甚至在32样本标注数据下超越了全样本模型。代码可在https://github.com/CAMMA-public/SPA获取。
引用
@article{arxiv.2506.20254,
title = {Recognizing Surgical Phases Anywhere: Few-Shot Test-time Adaptation and Task-graph Guided Refinement},
author = {Kun Yuan and Tingxuan Chen and Shi Li and Joel L. Lavanchy and Christian Heiliger and Ege Özsoy and Yiming Huang and Long Bai and Nassir Navab and Vinkle Srivastav and Hongliang Ren and Nicolas Padoy},
journal= {arXiv preprint arXiv:2506.20254},
year = {2025}
}
备注
Accepted by MICCAI 2025