用于端到端分子性质预测的几何 Transformer
机器学习
2022-04-27 v3 人工智能
摘要
由于其能够表示元素间复杂交互的能力，Transformers 已成为许多应用中的首选方法。然而，将 Transformer 架构扩展到分子等非序列数据并使其能够在小数据集上训练仍然是一个挑战。在这项工作中，我们引入了一种基于 Transformer 的分子性质预测架构，其能够捕捉分子的几何结构。我们通过分子几何的初始编码以及学习到的门控自注意力机制来修改经典的位置编码器。我们进一步提出了一种分子数据增强方案，能够避免由过度参数化架构引起的过拟合。所提出的框架优于最先进的方法，同时仅基于纯机器学习，即该方法不融入量子化学的领域知识，也不使用除原子对间距离之外的扩展几何输入。
引用
@article{arxiv.2110.13721,
title = {Geometric Transformer for End-to-End Molecule Properties Prediction},
author = {Yoni Choukroun and Lior Wolf},
journal= {arXiv preprint arXiv:2110.13721},
year = {2022}
}