将 SMILES 的语言学知识注入化学语言模型

简化分子输入行输入系统（SMILES）是化合物最流行的表示方式。因此，已开发了许多基于 SMILES 的分子性质预测模型。特别是，基于 transformer 的模型展现出良好性能，因为该模型利用大规模化学数据集进行自监督学习。然而，尚无基于 transformer 的模型克服 SMILES 因其生成过程所导致的固有局限。本研究中，我们对 SMILES 进行语法解析以获得子结构间连接性及其类型，称为 SMILES 的语法知识。首先，我们使用从 SMILES 解析出的子结构 token 对 transformer 进行预训练。然后，我们采用“同化合物模型”训练策略以更好理解 SMILES 语法。此外，我们通过知识适配器将连接性与类型知识注入 transformer。结果，我们的表示模型在分子性质预测上优于既往化合物表示。最后，我们分析了 transformer 模型与适配器的注意力，证明所提模型理解了 SMILES 的语法。