基于金字塔注意力广播的实时视频生成
计算机视觉与模式识别
2025-02-28 v3 分布式、并行与集群计算
摘要
我们提出了一种名为金字塔注意力广播（Pyramid Attention Broadcast，PAB）的方法，用于DiT架构的实时、高质量且无需训练的视频生成。该方法基于一种观察：扩散过程中注意力差异呈U型模式，表明存在显著的冗余性。我们通过以金字塔方式将注意力输出广播到后续步骤来缓解这一问题。针对不同注意力层的方差，采用不同的广播策略以获得最佳效率。我们进一步引入广播序列并行，以实现更高效的分布式推理。实验表明，PAB在三个模型上实现了最高可达10.5倍的加速，能够实现至720p视频的实时生成。我们预期，这种简单而有效的方法将作为强大的基线，促进视频生成领域的后续研究和应用。
引用
@article{arxiv.2408.12588,
title = {Real-Time Video Generation with Pyramid Attention Broadcast},
author = {Xuanlei Zhao and Xiaolong Jin and Kai Wang and Yang You},
journal= {arXiv preprint arXiv:2408.12588},
year = {2025}
}
备注
ICLR 2025