Crystalformer：用于周期性结构编码的无限连接注意力
机器学习
2024-03-19 v1 材料科学
计算物理
摘要
根据材料的晶体结构预测其物理性质是材料科学中的一个基本问题。在分子性质预测等相关领域，全连接注意力网络已被证明是成功的。然而，与这些有限的原子排列不同，晶体结构是无限重复的周期性原子排列，其全连接注意力会导致无限连接注意力。在本工作中，我们表明这种无限连接注意力可以导出一种计算上易于处理的公式，被解释为神经势求和，它在深度学习的特征空间中执行无限原子间势的求和。然后，我们提出了一种简单而有效的基于 Transformer 的晶体结构编码器架构，称为 Crystalformer。与现有的基于 Transformer 的模型相比，所提出的模型仅需 29.4% 的参数量，且对原始 Transformer 架构的修改极小。尽管架构简单，所提出的方法在 Materials Project 和 JARVIS-DFT 数据集上的各种性质回归任务中均优于 state-of-the-art 方法。
引用
@article{arxiv.2403.11686,
title = {Crystalformer: Infinitely Connected Attention for Periodic Structure Encoding},
author = {Tatsunori Taniai and Ryo Igarashi and Yuta Suzuki and Naoya Chiba and Kotaro Saito and Yoshitaka Ushiku and Kanta Ono},
journal= {arXiv preprint arXiv:2403.11686},
year = {2024}
}
备注
13 main pages, 3 figures, 4 tables, 10 appendix pages. Published as a conference paper at ICLR 2024. For more information, see https://omron-sinicx.github.io/crystalformer/