MATRIX：材料科学的多模态基准与后训练框架
机器学习
2026-02-03 v1
摘要
材料科学的科学推理需要将多模态实验证据与底层物理理论相结合。现有基准测试困难评估在后训练期间融入视觉实验数据是否能超越文本唯一监督，实现机制导向的解释推理。我们引入MATRIX，一个用于材料科学推理的多模态基准，评估基础理论、研究水平的推理以及对多种表征模态下真实实验制件的解释。通过MATRIX 进行受控诊断，我们隔离了视觉 grounding 效应，通过将仅基于结构材料科学文本的后训练与融合了配对实验图像的后训练进行比较。尽管使用相对较少的多模态数据，视觉监督可使实验解释提升 10-25%，在文本唯一科学推理任务上获得 5-16% 的提升。我们的结果表明，这些改进依赖于后训练中的正确图像-文本对齐，突显了跨模态表征迁移。我们还在 ScienceQA 和 PubMedQA 上观察到持续性改进，表明结构化多模态后训练的优势延伸至材料科学之外。MATRIX 数据集可在 https://huggingface.co/datasets/radical-ai/MATRIX 获取，模型可在 https://huggingface.co/radical-ai/MATRIX-PT 获取。
关键词
引用
@article{arxiv.2602.00376,
title = {MATRIX: A Multimodal Benchmark and Post-Training Framework for Materials Science},
author = {Delia McGrath and Curtis Chong and Rohil Kulkarni and Gerbrand Ceder and Adeesh Kolluru},
journal= {arXiv preprint arXiv:2602.00376},
year = {2026}
}
备注
17 pages, 9 Figures, submitted