用于高效分子建模的等变球面 Transformer
机器学习
2025-09-30 v3 人工智能
摘要
等变图神经网络通过利用群表示显著推进了 3D 分子结构的建模。然而，其消息传递严重依赖于 Clebsch-Gordan 张量积卷积，由于群表示的非线性有限且次数较低，导致其表达能力受限。为克服这一问题，我们引入了等变球面 Transformer (EST)，这是一种新颖的即插即用框架，将类 Transformer 架构应用于群表示的 Fourier 空间域。EST 通过球面 Fourier 变换的均匀采样策略，在保持关键等变归纳偏置的同时，实现了比传统模型更高的表达能力。正如我们在 OC20 和 QM9 等具有挑战性的基准测试上的实验所示，基于 EST 的模型实现了最先进的性能。对于 OC20 中的复杂分子系统，由 EST 赋能的小型模型能够超越一些更大的模型以及使用额外数据的模型。除了展示如此强大的表达能力外，我们还对 EST 的等变性进行了理论和实验验证，为该领域的新研究铺平了道路。
引用
@article{arxiv.2505.23086,
title = {Equivariant Spherical Transformer for Efficient Molecular Modeling},
author = {Junyi An and Xinyu Lu and Chao Qu and Yunfei Shi and Peijia Lin and Qianwei Tang and Licheng Xu and Fenglei Cao and Yuan Qi},
journal= {arXiv preprint arXiv:2505.23086},
year = {2025}
}
备注
26 pages, 3 figures