Equiformer：面向三维原子图的等变图注意力 Transformer
机器学习
2023-03-01 v2 人工智能
计算物理
摘要
尽管 Transformer 网络在诸多领域取得了广泛成功，但即便考虑了平移不变性与旋转等变性等三维相关归纳偏置，其在三维原子图（如分子）数据集上的表现仍不尽如人意。本文中，我们证明 Transformer 能够对三维原子图实现良好泛化，并提出 Equiformer——一种利用 Transformer 架构优势并基于不可约表示（irreps）融入 SE(3)/E(3)-等变特征的图神经网络。首先，我们提出一种简洁而有效的架构，仅将 Transformer 中的原始操作替换为其等变对应操作并引入张量积。使用等变操作可在 irreps 特征的通道中编码等变信息，而无需使图结构复杂化。通过对 Transformer 的最小改动，该架构已取得强劲的实证结果。其次，我们提出一种称为等变图注意力的新型注意力机制，它通过以多层感知机注意力替代点积注意力并引入非线性消息传递，改进了 Transformer 中典型的注意力。凭借这两项创新，Equiformer 在 QM9、MD17 和 OC20 数据集上取得了与先前模型相竞争的结果。
引用
@article{arxiv.2206.11990,
title = {Equiformer: Equivariant Graph Attention Transformer for 3D Atomistic Graphs},
author = {Yi-Lun Liao and Tess Smidt},
journal= {arXiv preprint arXiv:2206.11990},
year = {2023}
}