从字符串学习化学结构的Transformer架构在手性识别上的困难
机器学习
2024-02-20 v4 计算与语言
化学物理
生物大分子
摘要
近年来，基于极具多样性分子的表示学习来生成描述符发展迅速，尤其是将自然语言处理(NLP)模型应用于SMILES(分子结构的字符串表示)的方法。然而，关于这些模型如何理解化学结构的研究甚少。为打开这一黑箱，我们利用代表性NLP模型Transformer考察了SMILES学习进展与化学结构之间的关系。我们表明，尽管Transformer能快速学习分子的局部结构，但需要较长时间的训练才能理解整体结构。一致地，使用不同学习步模型生成的描述符进行分子性质预测的准确率，在训练初至训练末均相近。此外，我们发现Transformer需要特别长的训练才能学习手性，并有时因对对映体的误解而停滞于低性能。这些发现有望深化对化学中NLP模型的理解。
引用
@article{arxiv.2303.11593,
title = {Difficulty in chirality recognition for Transformer architectures learning chemical structures from string},
author = {Yasuhiro Yoshikai and Tadahaya Mizuno and Shumpei Nemoto and Hiroyuki Kusuhara},
journal= {arXiv preprint arXiv:2303.11593},
year = {2024}
}
备注
29 pages, 6 figures