通过局部优化与表示连续性加速自回归视频生成模型的训练
机器学习
2026-04-10 v1 图像与视频处理
摘要
自回归模型在图像生成中表现出优越性能和较高效率，但在视频生成中仍受高计算成本和长时间训练时间的制约。本研究通过经验分析探索了加速自回归视频生成模型训练的方法。我们的结果表明，训练较少的视频帧显著减少训练时间，但也加剧了误差累积并在生成视频中引入不一致性。为解决这些问题，我们提出了一种局部优化（Local Opt.）方法，通过在局部窗口内优化标记并利用上下文信息来减少误差传播。灵感来自 Lipschitz 连续性，我们提出了表示连续性（ReCo）策略以提高生成视频的一致性。ReCo 利用连续性损失约束表示变化，提高模型鲁棒性并减少误差累积。在类别到视频和文本到视频数据集上进行大量实验表明，我们的方法在基线之上取得优异性能，同时在不牺牲质量的前提下将训练成本减半。
引用
@article{arxiv.2604.07402,
title = {Accelerating Training of Autoregressive Video Generation Models via Local Optimization with Representation Continuity},
author = {Yucheng Zhou and Jianbing Shen},
journal= {arXiv preprint arXiv:2604.07402},
year = {2026}
}
备注
ACL 2026 Findings