通过级联低秩拟合追踪高阶演化

扩散模型已成为现代视觉生成的事实标准，包括潜在扩散和流匹配等已建立框架。最近，建模高阶动力学作为生成建模的前沿领域。相较于仅学习将随机噪声传输到目标数据分布的第一阶速度场，这些方法同时学习更高阶导数，如加速度和 jerk，形成多样化的高阶扩散变体。为了表示高阶导数，朴素方法为每个阶数分别实例化独立神经网络，这会随导数阶数线性增大参数空间。为克服这一计算瓶颈，我们引入级联低秩拟合，这是一种受常微分方程启发的方法，通过对共享基础函数进行增强，并依次累积低秩组件来逼近连续的导数。理论上，我们分析了这些连续矩阵差的秩动态。我们证明，如果初始差可线性分解，则高阶导数的通用秩将保证单调非递增。相反，我们展示在无此结构假设时，广义莱布尼茨规则允许秩严格增加。此外，我们证明在特定条件下，导数秩序列可以被设计为形成任何任意排列。最后，我们提出了一个简洁的算法，高效计算所提出的级联低秩拟合。