UniCP：面向高效视频生成的统一缓存与剪枝框架
计算机视觉与模式识别
2025-02-10 v1
摘要
扩散变换器（DiT）在视频生成中表现出色，但由于注意力的二次复杂度，面临着显著的计算挑战。值得注意的是，相邻扩散步骤之间的注意力差异遵循倒 U 形模式。当前方法利用这一特性对注意力块进行缓存，但仍存在突发误差峰值和大 discrepancy 的问题。为此，我们提出了 UniCP，即一种用于高效视频生成的统一缓存和剪枝框架。UniCP 通过以下方式优化时空维度：误差感知动态缓存窗口（Error Aware Dynamic Cache Window, EDCW）：动态调整不同时间步上不同注意力块的缓存窗口大小，以适应突发误差变化。基于主成分分析的切片（PCA based Slicing, PCAS）和动态权重位移（Dynamic Weight Shift, DWS）：PCAS 剪枝冗余注意力组件，DWS 通过启用剪枝输出和缓存输出之间的动态切换实现集成。通过调整缓存窗口和剪枝冗余组件，UniCP 提升了计算效率，同时保持视频细节保真度。实验结果表明，UniCP 在性能和效率方面均优于现有方法。
引用
@article{arxiv.2502.04393,
title = {UniCP: A Unified Caching and Pruning Framework for Efficient Video Generation},
author = {Wenzhang Sun and Qirui Hou and Donglin Di and Jiahui Yang and Yongjia Ma and Jianxun Cui},
journal= {arXiv preprint arXiv:2502.04393},
year = {2025}
}