ScSAM：消除亚细胞语义分割中的形态学与分布变异偏差
计算机视觉与模式识别
2025-07-24 v1 人工智能
机器学习
摘要
亚细胞组分的显著形态学与分布变异是基于学习的器官分割模型面临的长期挑战，显著增加了偏好性特征学习的风险。现有方法常依赖单一映射关系，忽视特征多样性，从而导致训练偏差。虽然 Segment Anything Model (SAM) 提供了丰富的特征表示，但其应用于亚细胞场景受到两个关键挑战的制约：（1）亚细胞形态学与分布的变异在标签空间中形成差距，导致模型学习伪影或偏好特征；（2）SAM 关注全局语境，往往忽略细粒度空间细节，难以捕捉细微结构变化并应对数据分布不平衡。为解决这些问题，我们提出 ScSAM 方法，通过融合预训练 SAM 与掩码自编码器（MAE）引导的细胞先验知识来缓解数据不平衡导致的训练偏差。具体而言，我们设计特征对齐与融合模块，将预训练嵌入对齐至同一特征空间并高效组合不同表示。此外，我们提出基于余弦相似度矩阵的类别提示编码器，以激活类别特定特征以识别亚细胞类别。广泛的在多样化亚细胞图像数据集上的实验表明，ScSAM 在 state-of-the-art 方法中显著优于并实现了更好的性能。
引用
@article{arxiv.2507.17149,
title = {ScSAM: Debiasing Morphology and Distributional Variability in Subcellular Semantic Segmentation},
author = {Bo Fang and Jianan Fan and Dongnan Liu and Hang Chang and Gerald J. Shami and Filip Braet and Weidong Cai},
journal= {arXiv preprint arXiv:2507.17149},
year = {2025}
}
备注
Accepted by 28th European Conference on Artificial Intelligence (ECAI)