能量-熵正则化：最小循环Transformer的真正力量

最近的研究表明，循环Transformer相比标准深度架构具有更优越的推理能力。当前在基准任务上训练单头循环架构的方法常常失败或产生次优性能，这是由于高度非凸且不规则的损失景观所致。在这些设置中，优化常常停滞在损失景观的局部极小值和鞍点，阻止模型发现全局最小值点。这些单头循环Transformer模型的内部机制仍不明确，从头训练它们仍然是一个重大挑战。在本文中，我们提出了一种新颖的训练框架，利用Tsallis熵和哈密顿动力学来变换损失景观的几何结构。通过将参数更新视为物理流，我们成功训练了一个模型维度d = 8的单头循环Transformer，以解决输入序列长度为1000个token的归纳头任务。这一成功揭示了其优越推理能力背后的内部机制。