将领域知识融入材料分词
计算与语言
2025-06-16 v1 人工智能
摘要
随着语言模型在材料科学中的应用日益增长，传统模型依赖自然语言处理中基于频率的分词方法，常导致过度碎片化与语义丢失，无法保持材料概念的结构与语义完整性。为此，我们提出MATTER新型分词方法，将材料知识嵌入分词过程。基于在材料知识库上训练的MatDetector及优先级提升材料概念的重排序方法，MATTER保持识别材料概念的结构完整性，防止分词过程中的碎片化，确保语义意义不被破坏。实验结果表明，MATTER在生成与分类任务中分别优于现有分词方法，平均性能提升4%与2%。这些结果凸显了领域知识在科学文本处理分词策略中的重要性。我们的代码已公开于https://github.com/yerimoh/MATTER。
引用
@article{arxiv.2506.11115,
title = {Incorporating Domain Knowledge into Materials Tokenization},
author = {Yerim Oh and Jun-Hyung Park and Junho Kim and SungHo Kim and SangKeun Lee},
journal= {arXiv preprint arXiv:2506.11115},
year = {2025}
}