用于多肠癌诊断的增强分段任何模型（ASPS）
图像与视频处理
2024-07-02 v1 计算机视觉与模式识别
摘要
多肠癌诊断中的多肠癌分割发挥着关键作用。最近，分段任何模型（Segment Anything Model, SAM）的出现为多肠癌分割带来了前所未有的潜力，凭借其在大规模数据集上的强大预训练能力。然而，由于自然图像与内窥镜图像之间的领域差异，SAM 在实现有效的多肠癌分割性能方面面临两个局限：其基于 Transformer 的结构优先考虑全局和低频信息，可能忽略局部细节，导致学习到的特征产生偏差；当应用于内窥镜图像时，其差的超出分布（out-of-distribution, OOD）性能会导致预测效果不佳且置信度输出偏差。为解决这些挑战，我们提出一种新方法，称为用于多肠癌分割的增强 SAM（Augmented SAM for Polyp Segmentation, ASPS），配备两个模块：跨分支特征增强（Cross-branch Feature Augmentation, CFA）和不确定性引导的预测正则化（Uncertainty-guided Prediction Regularization, UPR）。CFA 将可训练的 CNN 编码器分支与冻结的 ViT 编码器集成，实现领域特定知识的整合，同时增强局部特征和高频细节。此外，UPR 巧妙地利用 SAM 的 IoU 分数来缓解训练过程中不确定性，从而提高 OOD 性能和领域泛化能力。大量实验结果表明，所提方法在改善 SAM 在多肠癌分割中的性能方面有效且实用。我们的代码已公开：https://github.com/HuiqianLi/ASPS。
引用
@article{arxiv.2407.00718,
title = {ASPS: Augmented Segment Anything Model for Polyp Segmentation},
author = {Huiqian Li and Dingwen Zhang and Jieru Yao and Longfei Han and Zhongyu Li and Junwei Han},
journal= {arXiv preprint arXiv:2407.00718},
year = {2024}
}
备注
Accepted by MICCAI2024