大语言模型、物理建模与实验测量：聚合物性质数据稀缺学习的三位一体
机器学习
2024-07-04 v1 计算工程、金融与科学
摘要
大语言模型（LLMs）作为快速且准确的材料建模范式，具有用于评估、分析和设计的潜力。其庞大的可训练参数数量需要大量数据才能实现准确性并缓解过拟合问题。然而，实验测量在足够数量的情况下往往有限且昂贵，难以进行微调。为此，我们提出了一种基于物理的训练管道，以解决数据稀缺的病态问题。核心使能器是一种生成大量合成数据的物理建模框架，用于在微调前将LLM对物理一致的初始状态进行对齐。我们的框架包含两个训练阶段：（1）利用大量但不够精确的合成数据进行监督预训练，（2）使用有限的实验数据对阶段1模型进行微调。我们通过学习聚合物燃烧性指标的范例，经验性地表明，监督预训练对于获取准确的微调LLMs至关重要，其中锥形量热仪数据稀缺。
引用
@article{arxiv.2407.02770,
title = {Large language models, physics-based modeling, experimental measurements: the trinity of data-scarce learning of polymer properties},
author = {Ning Liu and Siavash Jafarzadeh and Brian Y. Lattimer and Shuna Ni and Jim Lua and Yue Yu},
journal= {arXiv preprint arXiv:2407.02770},
year = {2024}
}