TransPolymer：基于 Transformer 的聚合物性质预测语言模型
机器学习
2023-04-27 v4 化学物理
摘要
准确高效的聚合物性质预测在聚合物设计中具有重要意义。传统上，需要昂贵且耗时的实验或模拟来评估聚合物功能。近年来，配备自注意力机制的 Transformer 模型在自然语言处理中表现出优越性能。然而，此类方法尚未在聚合物科学中得到研究。在此，我们报道 TransPolymer，一种基于 Transformer 的用于聚合物性质预测的语言模型。我们提出的具有化学感知的聚合物分词器能够从聚合物序列中学习表示。在十个聚合物性质预测基准上的严格实验证明了 TransPolymer 的优越性能。此外，我们展示了 TransPolymer 通过掩码语言建模（Masked Language Modeling）在大型无标签数据集上的预训练获益。实验结果进一步表明了自注意力在建模聚合物序列中的重要作用。我们强调该模型作为一种有前景的计算工具，可从数据科学视角促进合理的聚合物设计并理解结构-性质关系。
引用
@article{arxiv.2209.01307,
title = {TransPolymer: a Transformer-based language model for polymer property predictions},
author = {Changwen Xu and Yuyang Wang and Amir Barati Farimani},
journal= {arXiv preprint arXiv:2209.01307},
year = {2023}
}