电子显微图像分析的基础模型：面向企业应用的指令微调小规模语言-视觉助手

半导体成像与分析在深度学习中至关重要但研究不足，这限制了我们对半导体制造进行精确控制和优化的能力。我们引入了一个小规模多模态框架，通过视觉-语言指令微调来分析半导体电子显微镜图像（MAEMI）。我们使用大型多模态模型在显微图像分析上生成了一个定制的指令跟随数据集。我们通过知识蒸馏将知识从较大模型迁移到较小模型，从而提高了较小模型在视觉问答（VQA）任务上的准确性。这种方法消除了为显微图像分析任务而需要昂贵的人类专家标注数据集的需求。企业可以进一步在其知识产权数据上微调MAEMI，从而在低成本的消费级硬件上增强隐私和性能。我们的实验表明，MAEMI优于传统方法，能适应数据分布变化，并支持高通量筛选。