MELT：面向材料科学的材料感知持续预训练方法
计算与语言
2024-10-22 v1 人工智能
摘要
我们提出一种新颖的持续预训练方法MELT（MatEriaLs-aware continued pre-Training），专为有效适应面向材料科学的预训练语言模型（PLMs）而设计。不同于仅关注构建领域特定语料库的先前适应策略，MELT全面考虑语料库和训练策略，因为材料科学语料库与其他领域具有不同特征。为此，我们首先通过构建语义图从科学语料库中构建全面的材料知识库。利用提取的知识，我们将课程融入适应过程，从熟悉和通用概念开始，逐渐过渡到更专业的术语。我们在多样化的基准测试上进行大量实验，以验证MELT有效性和通用性。全面的评估令人信服地支持MELT的强大，表明其在性能上优于现有的持续预训练方法。深入分析还显示，MELT使PLMs能够有效表示材料实体，从而凸显其在广泛的材料科学领域具有广泛的适用性。
引用
@article{arxiv.2410.15126,
title = {MELT: Materials-aware Continued Pre-training for Language Model Adaptation to Materials Science},
author = {Junho Kim and Yeachan Kim and Jun-Hyung Park and Yerim Oh and Suho Kim and SangKeun Lee},
journal= {arXiv preprint arXiv:2410.15126},
year = {2024}
}
备注
Accepted at EMNLP 2024 (Findings)