微调语言模型以文本形式生成稳定的无机材料
机器学习
2025-07-25 v2 材料科学
摘要
我们提出通过微调大型语言模型来生成稳定材料。虽然方法非传统，但在文本编码的原子数据上微调大型语言模型不仅易于实现且可靠，约 90% 的采样结构满足关于原子位置和电荷的物理约束。使用来自学习到的 ML 势和黄金标准 DFT 计算的凸包上方能量计算，我们表明我们最强的模型（微调后的 LLaMA-2 70B）生成预测为亚稳态材料的比率约为竞争扩散模型 CDVAE 的两倍（49% 对 28%）。由于文本提示的固有灵活性，我们的模型可同时用于稳定材料的无条件生成、部分结构的填补以及文本条件生成。最后，我们表明语言模型捕捉晶体结构关键对称性的能力随模型规模而提升，这表明预训练 LLM 的偏置惊人地适用于原子数据。
引用
@article{arxiv.2402.04379,
title = {Fine-Tuned Language Models Generate Stable Inorganic Materials as Text},
author = {Nate Gruver and Anuroop Sriram and Andrea Madotto and Andrew Gordon Wilson and C. Lawrence Zitnick and Zachary Ulissi},
journal= {arXiv preprint arXiv:2402.04379},
year = {2025}
}
备注
ICLR 2024. Code available at: https://github.com/facebookresearch/crystal-llm