涌现Transformer：动态时间注意力至关重要

Transformer作为人工智能领域的一项突破性架构，其成功归功于注意力机制，该机制利用序列数据中的长程交互，实现了大语言模型（LLM）与数据分布之间的涌现一致性。然而，时间注意力，即时间序列中不同形式的长程交互，在包括量子、生物物理或气候系统中的振荡一致性在内的复杂系统涌现现象中，鲜少被探索。在此，通过设计具有时变查询、键和值矩阵的动态时间注意力（DTA），我们提出了一种涌现Transformer。该架构允许每个组件通过动态注意力核与其自身或其邻居的过去状态进行交互，从而能够促进和/或抑制各组件的涌现一致性。有趣的是，我们发现邻居-DTA持续促进振荡一致性，而自-DTA由于对网络结构的非单调依赖性，表现出用于增强一致性的最佳注意力权重。在实践中，我们展示了DTA如何重塑社会一致性，提出了增强共识或保持多样性的策略。我们进一步将DTA应用于典型的Hopfield神经网络，实现了无灾难性遗忘的涌现式持续学习。总之，这些结果奠定了基础，并提供了一个直接范式，用于仅利用DTA调节网络动力学中的涌现现象。