相对分子自注意力Transformer
机器学习
2021-10-13 v1 人工智能
摘要
自监督学习有望通过从稀缺实验数据实现数据高效学习，革新分子性质预测——药物发现及诸多行业的核心任务。尽管取得显著进展，非预训练方法在某些设定下仍具竞争力。我们推断架构可能是关键瓶颈。特别地，用领域特定归纳偏置丰富骨干架构，是其他领域自监督学习成功的关键。本着这一精神，我们方法论地探索适配分子数据的自注意力机制设计空间。受相对自注意力层启发，我们确定了适配分子处理的自注意力新变体，其融合原子间嵌入图与距离关系。我们的主要贡献是相对分子注意力Transformer (R-MAT)：一种基于所开发自注意力层的新型Transformer模型，在广泛分子性质预测任务上取得最先进或极具竞争力的结果。
引用
@article{arxiv.2110.05841,
title = {Relative Molecule Self-Attention Transformer},
author = {Łukasz Maziarka and Dawid Majchrowski and Tomasz Danel and Piotr Gaiński and Jacek Tabor and Igor Podolak and Paweł Morkisz and Stanisław Jastrzębski},
journal= {arXiv preprint arXiv:2110.05841},
year = {2021}
}