Retentive 神经量子态：从头算量子化学的高效试探态

神经网络量子态（NQS）已成为量子启发深度学习的强大应用，为变分蒙特卡洛方法提供了一种识别量子问题基态的竞争性替代方案。提升 NQS 实际可扩展性的一个重要进展是引入自回归模型，最近是 Transformer，作为变分试探态。Transformer 比循环模型以更大的表达力学习序列信息，但代价是随序列长度增加的时间复杂度。我们探索了使用 Retentive 网络（RetNet）——Transformer 的一种循环替代方案——作为从头算量子化学中电子基态问题的试探态。与 Transformer 不同，RetNet 通过在训练期间并行处理数据、在推理期间循环处理，克服了这一时间复杂度瓶颈。我们给出了 RetNet 的简单计算代价估计，并将其与 Transformer 的类似估计直接比较，建立了问题规模与模型规模之比的明确阈值，超过该阈值后 RetNet 的时间复杂度优于 Transformer。尽管这种效率可能以降低表达力为代价，但我们通过利用模型自回归结构的训练策略——即变分神经退火——克服了这一差距。我们的结果支持 RetNet 作为在不牺牲精度的前提下改善 NQS 时间复杂度的手段。我们进一步提供了证据表明神经退火的改进超越了 RetNet 架构，表明它可作为自回归 NQS 的有效通用训练策略。