使用视觉基础模型对 SEM 图像中的纳米颗粒进行零样本形状分类
计算机视觉与模式识别
2025-08-06 v1
摘要
在扫描电子显微镜（SEM）图像中准确高效地表征纳米颗粒形貌，对于确保纳米材料合成中的产品质量和加速开发至关重要。然而，传统的用于形状分类的深度学习方法需要大量标注数据集和计算量庞大的训练，限制了其在研究和工业环境中典型纳米颗粒从业者中的可及性。在本研究中，我们引入了一种零样本分类流程，利用两个视觉基础模型：用于目标分割的 Segment Anything Model (SAM) 和用于特征嵌入的 DINOv2。通过将这些模型与轻量级分类器相结合，我们在三个形态多样的纳米颗粒数据集上实现了高精度的形状分类——无需进行大量的参数微调。我们的方法优于微调的 YOLOv11 和 ChatGPT o4-mini-high 基线，展示了对小数据集、细微形态变化以及从自然图像到科学图像的领域偏移的鲁棒性。讨论了 DINOv2 特征 PCA 图上的定量聚类指标，作为评估化学合成进展的手段。这项工作突出了基础模型推进自动化显微图像分析的潜力，为纳米颗粒研究中的传统深度学习流程提供了一种更高效且对用户更易及的替代方案。
引用
@article{arxiv.2508.03235,
title = {Zero-shot Shape Classification of Nanoparticles in SEM Images using Vision Foundation Models},
author = {Freida Barnatan and Emunah Goldstein and Einav Kalimian and Orchen Madar and Avi Huri and David Zitoun and Ya'akov Mandelbaum and Moshe Amitay},
journal= {arXiv preprint arXiv:2508.03235},
year = {2025}
}