对多模态基础模型的晶体学推理进行压力测试
计算机视觉与模式识别
2025-06-17 v1 材料科学
计算与语言
机器学习
摘要
评估晶体学推理的基础模型需要能够隔离泛化行为并施加物理约束的基准测试。本 work 引入了一个多尺度多晶体数据集，配合两个物理约束下的评估协议，对 multimodal 生成式模型进行压力测试。空间排除基准测试保留给定半径内的所有超胞，实现对空间插值和外推的受控评估。成分排除基准测试省去特定化学组成的所有样本，探索不同化学计量关系下的泛化能力。对九个视觉-语言基础模型进行评估，这些模型被提示搭配晶体图像和文本上下文，以生成结构注释。响应结果通过 (i) 晶格参数和密度的相对误差、(ii) 物理一致性指数（惩罚体积违规）以及 (iii) 幻觉得分（捕获几何离群值和无效空间群预测）进行评估。这些基准测试建立了一个可复现、以物理为导向的框架，用于评估大规模多模态模型的泛化、一致性和可靠性。数据集和代码均可在 https://github.com/KurbanIntelligenceLab/StressTestingMMFMinCR 获取。
引用
@article{arxiv.2506.13051,
title = {Stress-Testing Multimodal Foundation Models for Crystallographic Reasoning},
author = {Can Polat and Hasan Kurban and Erchin Serpedin and Mustafa Kurban},
journal= {arXiv preprint arXiv:2506.13051},
year = {2025}
}