基于非对称特征增强Transformer的手术场景分割
计算机视觉与模式识别
2024-10-24 v1
摘要
手术场景分割是机器人辅助腹腔镜手术理解的基础任务。它通常包含各种解剖结构和手术器械，其中相似的局部纹理和细粒度结构使得分割成为一项困难的任务。视觉专用Transformer方法是手术场景理解的一种有前景的方式。然而，仍然存在两个主要挑战。首先，缺乏内部块信息融合导致分割性能不佳。其次，解剖结构和器械的特定特征没有得到专门建模。为了解决上述挑战，我们提出了一种新颖的基于Transformer的框架，带有非对称特征增强模块(TAFE)，该模块增强局部信息，然后通过多尺度交互注意力策略将改进后的特征金字塔主动融合到来自Transformer编码器的嵌入中。所提出的方法在多个不同的手术分割任务中优于最先进的方法，并进一步证明了其细粒度结构识别能力。代码可在https://github.com/cyuan-sjtu/ViT-asym获取。
引用
@article{arxiv.2410.17642,
title = {Surgical Scene Segmentation by Transformer With Asymmetric Feature Enhancement},
author = {Cheng Yuan and Yutong Ban},
journal= {arXiv preprint arXiv:2410.17642},
year = {2024}
}