中文

LLaMP:大型语言模型在高保真材料知识检索与蒸馏方面的强大能力

计算与语言 2024-10-11 v3 材料科学 人工智能

摘要

降低大型语言模型(LLM)的幻觉现象对于科学应用至关重要,因为可靠性和可重复性至为关键。然而,LLM 本身缺乏长期记忆,使其在特定领域文献和数据上进行微调变得非平凡、方法性且不可避免地带有偏见。为此,我们引入了 LLaMP,这是一个多模态检索增强生成(RAG)框架,采用分层推理与行动(ReAct)代理,能够动态且递归地与 Materials Project(MP)上的计算和实验数据交互,并通过高通量工作流程接口运行原子尺度模拟。无需微调,LLaMP 展示了强大的工具使用能力,能够理解和集成材料科学概念的各种模态,动态获取相关数据存储,处理高阶数据(如晶体结构和弹性张量),并简化计算材料和化学中的复杂任务。我们提出了一种结合不确定性和置信度估计的简单度量,用于评估 LLaMP 和普通 LLM 对响应的自我一致性。我们的基准测试显示,LLaMP 有效缓解了 LLM 固有的偏见,抵消了来自混合数据源对体积模量、电子带隙和形成能的错误。我们还展示了 LLaMP 编辑晶体结构并使用预训练的机器学习力场进行退火分子动力学模拟的能力。该框架提供了一种直观且近乎无幻觉的方法来探索和扩展材料信息学,为知识蒸馏和微调其他语言模型奠定了路径。代码和在线演示均可在 https://github.com/chiang-yuan/llamp 访问。

关键词

引用

@article{arxiv.2401.17244,
  title  = {LLaMP: Large Language Model Made Powerful for High-fidelity Materials Knowledge Retrieval and Distillation},
  author = {Yuan Chiang and Elvis Hsieh and Chia-Hong Chou and Janosh Riebesell},
  journal= {arXiv preprint arXiv:2401.17244},
  year   = {2024}
}

备注

32 pages, 5 figures