具有学习控制动力学的连续深度Transformer

我们提出了一种混合Transformer架构，该架构用一个连续深度的神经常微分方程（ODE）块替换了离散的中间层，从而能够通过学习的引导信号在推理时控制生成属性。与通过固定离散层处理表示的标准Transformer不同，我们的方法将深度视为由学习的向量场 $F_\theta(H, \tau, u)$ 控制的连续变量，其中 $u$ 是通过显式拼接注入的低维控制信号。我们通过四个实验验证了该架构：（1）梯度流稳定性，零梯度爆炸/消失事件；（2）语义引导，对正面/负面情感控制分别达到 98\%/88\% 的准确率；（3）连续插值，通过固定和自适应求解器之间可忽略不计的 0.068\% 轨迹偏差得到验证；（4）效率基准测试，证明了与标准离散基线相当的延迟。此外，我们表明自适应 ODE 求解器揭示了学习动力学中的几何结构：控制信号将向量场划分为具有不同曲率特性的不同动力学区域。伴随方法使得无论积分深度如何，都能实现 $O(1)$ 内存训练。我们的结果表明，具有学习控制信号的连续深度动力学为可引导的语言生成提供了一种可行且高效的机制。