多分辨率图变换器与用于学习层次结构的小波位置编码
机器学习
2023-08-02 v4
摘要
当代图学习算法对于大分子并未良好定义，因为它们未考虑原子间的层次交互，而这些交互对决定大分子的分子性质至关重要。本工作中，我们提出多分辨率图变换器（MGT），这是首个能够在多尺度上学习表示大分子的图变换器架构。MGT 可学习为原子生成表示并将其分组成有意义的功能基团或重复单元。我们还引入小波位置编码（WavePE），一种能够保证在谱域与空间域均局部化的新位置编码方法。我们提出的模型在由聚合物与肽组成的两个大分子数据集以及一个类药物分子数据集上取得了具有竞争力的结果。重要的是，我们的模型优于其他当前最优方法，并在聚合物数据集中以密度泛函理论（DFT）计算的分子性质（如 GAP、HOMO 与 LUMO）估计上达到了化学精度。此外，包括大分子上的聚类结果及其表示低维空间的可视化，展示了我们的方法在学习长程与层次结构表示上的能力。我们的 PyTorch 实现已公开于 https://github.com/HySonLab/Multires-Graph-Transformer。
引用
@article{arxiv.2302.08647,
title = {Multiresolution Graph Transformers and Wavelet Positional Encoding for Learning Hierarchical Structures},
author = {Nhat Khang Ngo and Truong Son Hy and Risi Kondor},
journal= {arXiv preprint arXiv:2302.08647},
year = {2023}
}