GeoT：一种用于可靠分子性质预测与化学可解释表示学习的几何感知 Transformer
机器学习
2023-06-29 v3 化学物理
摘要
近年来，分子表示学习已成为各类化学任务中的关键焦点。然而，许多现有模型未能充分考虑分子结构的几何信息，导致表示不够直观。此外，广泛使用的消息传递机制难以从化学角度对实验结果提供解释。为应对这些挑战，我们提出了一种基于 Transformer 的分子表示学习新框架，名为几何感知 Transformer (GeoT)。GeoT 通过专门设计的基于注意力的机制学习分子图结构，以提供可靠的 Interpretability 以及分子性质预测。因此，GeoT 能生成与训练目标相关的原子间关系注意力图。此外，GeoT 在取得与基于 MPNN 的模型相当性能的同时，实现了更低的计算复杂度。我们的综合实验（含一项经验模拟）表明，GeoT 有效学习了分子结构的化学洞见，弥合了人工智能与分子科学之间的鸿沟。
引用
@article{arxiv.2106.15516,
title = {GeoT: A Geometry-aware Transformer for Reliable Molecular Property Prediction and Chemically Interpretable Representation Learning},
author = {Bumju Kwak and Jiwon Park and Taewon Kang and Jeonghee Jo and Byunghan Lee and Sungroh Yoon},
journal= {arXiv preprint arXiv:2106.15516},
year = {2023}
}
备注
This paper is currently under review. The code is available at this URL: https://github.com/oleneyl/geometry-aware-transformer