SAM-I-Am：零样本原子级电子显微图像分割的语义增强
材料科学
2024-10-03 v2 计算机视觉与模式识别
摘要
图像分割是促成从医学诊断到自动驾驶等诸多任务的关键技术。然而，正确的分割语义——边界位于何处？哪些分割块在逻辑上相似？——会随领域而改变，以至于最先进的基座模型可能会生成无意义且不正确的结果。此外，在某些领域中，微调和重训练技术是不可行的：获取标签既昂贵又耗时；领域图像（显微图像）可能具有指数级的多样性；且数据共享（用于第三方重训练）受到限制。为了实现最佳分割技术的快速适应，我们提出了语义增强的概念：给定一个零样本基座模型，引导其分割并调整结果以匹配领域期望。我们将语义增强应用于 Segment Anything Model (SAM)，以获得透射电子显微镜的微观结构分割。我们的增强器 SAM-I-Am 提取各种中间掩膜的几何和纹理特征，以执行掩膜移除和掩膜合并操作。我们证明，与原始 SAM (ViT-L) 相比，在三个难度类别的图像上，平均 IoU 实现了（绝对）+21.35%、+12.6%、+5.27% 的零样本性能提升，并且平均假阳性掩膜下降了 -9.91%、-18.42%、-4.06%。
引用
@article{arxiv.2404.06638,
title = {SAM-I-Am: Semantic Boosting for Zero-shot Atomic-Scale Electron Micrograph Segmentation},
author = {Waqwoya Abebe and Jan Strube and Luanzheng Guo and Nathan R. Tallent and Oceane Bel and Steven Spurgeon and Christina Doty and Ali Jannesari},
journal= {arXiv preprint arXiv:2404.06638},
year = {2024}
}