用于分子构型生成的标准变换器与带线性偏置的注意力机制
生物大分子
2025-06-25 v1 人工智能
机器学习
摘要
从 2D 分子图生成分子构型（原子在空间中的排列）是药物发现与优化过程中执行多项计算的关键任务。已设计了诸多专门的等变网络以实现分子构型的生成。最近，出现了非等变变换器模型作为可行替代方案，其能够通过规模提升来改进泛化能力。然而，人们担忧非等变模型需要较大的模型规模来弥补等变偏置的不足。本文证明，经过精心选择的位置编码可有效解决规模瓶颈。规模扩展至 2500 万参数的标准变换器模型在 GEOM-DRUGS 数据集上超越了当前 6400 万参数的非等变基准模型。我们将相对位置编码实现为一种负注意力偏置，使其随图节点之间最短路径距离线性增加，并且在不同注意力头上采用不同斜率，类似于 NLP 领域广泛采用的 ALiBi 技术。该架构有望成为分子构型生成新类的基础模型。
引用
@article{arxiv.2506.19834,
title = {A standard transformer and attention with linear biases for molecular conformer generation},
author = {Viatcheslav Gurev and Timothy Rumbell},
journal= {arXiv preprint arXiv:2506.19834},
year = {2025}
}
备注
Revision of paper at OpenReview: https://openreview.net/forum?id=BjjerMYL3F