MatSAM：基于视觉大模型高效提取材料微观结构

高效、准确地提取材料显微图像中的微观结构，对于工艺优化和构效关系探索至关重要。依赖人工标注的深度学习图像分割方法费时费力，且难以满足模型在各种源图像上的可迁移性和泛化性需求。Segment Anything Model（SAM），一个具有强大深度特征表示和零样本泛化能力的视觉大模型，为图像分割提供了新的解决方案。本文中，我们提出了MatSAM，一种基于SAM的通用且高效的微观结构提取方案。我们设计了一种简单而有效的基于点的提示生成策略，该策略立足于微观结构的分布和形状。具体而言，它以无监督且无需训练的方式，为不同的显微图像自适应地生成提示点，融合粗略提取的感兴趣区域（ROI）的质心点和原生网格点，并集成相应的后处理操作用于材料微观结构的定量表征。对于包括晶界和多相在内的常见微观结构，MatSAM在由光学显微镜（OM）和扫描电子显微镜（SEM）成像的16个显微数据集上评估，取得了优于传统基于规则方法的零样本分割性能，甚至优于有监督学习方法。特别是在4个公开数据集上，MatSAM展现出与其专用模型相比出人意料的竞争性分割性能。我们相信，无需人工标注，MatSAM可以显著降低大量材料微观结构定量表征和统计分析的成本，从而加速新材料的设计。