用于序列学习的物理启发能量跃迁神经网络
机器学习
2025-05-07 v1 人工智能
摘要
最近，Transformer 的优越性能使其成为比传统循环神经网络（RNN）更稳健、更可扩展的序列建模解决方案。然而，Transformer 在捕捉长期依赖性方面的有效性主要归因于其全面的成对建模过程，而非对序列语义的固有归纳偏置。在本研究中，我们探索了纯 RNN 的能力，并重新评估了它们的长期学习机制。受追踪能量随时间变化的物理能量跃迁模型的启发，我们提出了一种有效的循环结构，称为“物理启发能量跃迁神经网络”（PETNN）。我们证明了 PETNN 的记忆机制能有效地存储长期依赖中的信息。实验结果表明，PETNN 在各种序列任务上优于基于 Transformer 的方法。此外，由于其循环性质，PETNN 表现出显著更低的复杂度。我们的研究提出了一种最优的基础循环架构，并突显了在当前由 Transformer 主导的领域中开发有效循环神经网络的潜力。
引用
@article{arxiv.2505.03281,
title = {Physics-inspired Energy Transition Neural Network for Sequence Learning},
author = {Zhou Wu and Junyi An and Baile Xu and Furao Shen and Jian Zhao},
journal= {arXiv preprint arXiv:2505.03281},
year = {2025}
}