MatSci-NLP：基于文本到模式建模在材料科学语言任务上评估科学语言模型
计算与语言
2023-05-16 v1 材料科学
人工智能
摘要
我们提出MatSci-NLP，一个用于评估自然语言处理（NLP）模型在材料科学文本上表现的自然语言基准。我们从公开可用的材料科学文本数据构建该基准，涵盖七种不同的NLP任务，包括命名实体识别和关系分类等传统NLP任务，以及材料科学特有的NLP任务，如与材料合成流程创建相关的合成动作检索。我们研究了在MatSci-NLP上基于不同科学文本语料库预训练的各种BERT类模型，以理解预训练策略对理解材料科学文本的影响。鉴于材料科学领域高质量标注数据的稀缺，我们在有限训练数据下进行微调实验，以促进在MatSci-NLP任务间的泛化。我们在低资源训练设置下的实验表明，在科学文本上预训练的语言模型优于在通用文本上训练的BERT。MatBERT，一个专门在材料科学期刊上预训练的模型，在大多数任务上通常表现最佳。此外，我们提出了一种统一的文本到模式方法用于\benchmark上的多任务学习，并将其性能与传统微调方法比较。在对不同训练方法的分析中，我们发现受问答启发所提出的文本到模式方法始终优于单任务和多任务NLP微调方法。代码与数据集公开于\url{https://github.com/BangLab-UdeM-Mila/NLP4MatSci-ACL23}。
引用
@article{arxiv.2305.08264,
title = {MatSci-NLP: Evaluating Scientific Language Models on Materials Science Language Tasks Using Text-to-Schema Modeling},
author = {Yu Song and Santiago Miret and Bang Liu},
journal= {arXiv preprint arXiv:2305.08264},
year = {2023}
}