EquiformerV3：面向大规模应用的高效、表达性与通用性 SE(3) 等变图注意力 Transformer

随着 $SE(3)$ 等变图神经网络在 3D 原子模型中日益成为核心工具，提升其效率、表达性和物理一致性已成为大规模应用的核心挑战。本文介绍 EquiformerV3，即第三代 $SE(3)$ 等变图注意力 Transformer，旨在推进所有三个维度：效率、表达性和通用性。基于 EquiformerV2，我们在三个方面取得了关键性突破：第一，优化了软件实现，实现了 $1.75\times$ 的加速；第二，引入了针对 EquiformerV2 的简单且有效的修改，包括等变合并层归一化、改进的前馈网络超参数以及带平滑半径截断的注意力机制；第三，提出了 SwiGLU-$S^2$ 激活函数，以更好地融入多体相互作用，提高理论表达性，同时通过降低 $S^2$ 网格采样复杂度，保持严格的等变性。结合 SwiGLU-$S^2$ 激活和平滑截断注意力，EquiformerV3 能够准确建模平滑变化的势能面（PES），从而拓展至需要能量守恒模拟和 PES 高阶导数的任务。通过引入去噪非平衡结构（DeNS）的辅助任务训练，EquiformerV3 在 OC20、OMat24 和 Matbench Discovery 上实现了最新成果。