分子变压器的幂律注意力偏置

变压器因其可扩展性成为大多数数据模态的首选架构。尽管变压器已广泛应用于分子性质预测，但其在该领域的主导地位尚未如其他模态般突出。这一现象的一个可能原因是缺乏有效捕获原子之间关系结构偏置。本文探讨注意力偏置作为一种简单自然的结构编码方式。受物理幂律启发，我们提出了一族低复杂度注意力偏置 $b_{ij} = p \log|| \mathbf{r}_i - \mathbf{r}_j||$，根据原子间距离对注意力概率进行加权。在 QM9 和 SPICE 数据集上，我们的方法优于位置编码和图注意力，同时与更复杂的高斯核偏置保持竞争力。我们还展示了良好的注意力偏置可弥补缩放点积注意力的完全消失，从而指向面向可解释分子变压器的低成本路径。