Transformer 在无图先验条件下发现分子结构
机器学习
2025-10-03 v1 材料科学
化学物理
生物大分子
摘要
图神经网络（GNN）是分子机器学习的主导架构，尤其在分子性质预测和机器学习原子间势（MLIP）方面。GNN 在预定义图上进行消息传递，这些图通常由固定半径截断或 k 近邻方案诱导。虽然这种设计与许多分子任务中的局域性一致，但硬编码的图会因固定的感受野而限制表达能力，并通过稀疏图操作减慢推理速度。在这项工作中，我们研究是否可以直接在笛卡尔坐标上训练未经修改的 Transformer——无需预定义图或物理先验——来近似分子能量和力。作为我们分析的起点，我们展示了如何在与最先进的等变 GNN 匹配的训练计算预算下，训练 Transformer 在 OMol25 数据集上达到竞争性的能量和力平均绝对误差。我们发现 Transformer 学到了物理上的一致模式——例如注意力权重随原子间距离成反比衰减——并且由于不存在硬编码偏差，能够在不同分子环境中灵活适应。使用标准 Transformer 还可以实现可预测的训练资源扩展改进，与其他领域观察到的经验缩放定律一致。我们的结果表明，GNN 的许多有利特性可以在 Transformer 中自适应地涌现，挑战了硬编码图归纳偏差的必要性，并指向了分子建模的标准化、可扩展架构。
引用
@article{arxiv.2510.02259,
title = {Transformers Discover Molecular Structure Without Graph Priors},
author = {Tobias Kreiman and Yutong Bai and Fadi Atieh and Elizabeth Weaver and Eric Qu and Aditi S. Krishnapriyan},
journal= {arXiv preprint arXiv:2510.02259},
year = {2025}
}