利用电子显微镜图像与光谱采样，通过多模态图神经网络进行矿物分割
计算机视觉与模式识别
2025-06-24 v1
摘要
我们提出了一种基于多模态扫描电子显微镜（SEM）图像数据融合的图神经网络分割方法。在大多数情况下，使用SEM获得的背散射电子（BSE）图像不包含足够的矿物分割信息。因此，成像通常辅以点式的能量色散X射线光谱（EDS）光谱测量，这些测量提供了关于化学成分的高度准确信息，但获取耗时。这促使我们在BSE图像之外结合稀疏光谱数据进行矿物分割。光谱数据的非结构化特性使得大多数传统图像融合技术不适合BSE-EDS融合。我们提出使用图神经网络来融合两种模态并同时分割矿物相。我们的结果表明，仅为1%的BSE像素提供EDS数据就能产生准确的分割，从而实现矿物样品的快速分析。所提出的数据融合流水线具有通用性，可以适配其他涉及图像数据和点式测量的领域。
引用
@article{arxiv.2503.03507,
title = {Mineral segmentation using electron microscope images and spectral sampling through multimodal graph neural networks},
author = {Samuel Repka and Bořek Reich and Fedor Zolotarev and Tuomas Eerola and Pavel Zemčík},
journal= {arXiv preprint arXiv:2503.03507},
year = {2025}
}