PSA：高效视频理解与生成的金字塔稀疏注意力
摘要
注意力机制是基础模型的核心，但其二次复杂度在扩大规模方面仍是一个 critical 瓶颈。这推动了高效注意力机制的发展，稀疏性已成为主导范式。当前方法通常保留或丢弃 entire key-value 块，导致在高稀疏性下发生 substantial 信息损失。为缓解这一差距，我们提出 Pyramid Sparse Attention (PSA)，该模块可适用于视频理解 and 生成任务。与二进制掩码不同，PSA 引入 multi-level pooled KV 表示，实现更细粒度的掩码粒度。具体而言，每个 query 块动态分配 lower pooling 级别 to critical KV 块 and higher 级别 to less important 块，创建 full retention 与 complete pruning 之间的信息性插值。这种设计类似于 fixed-point 量化 and computer vision 中经典特征金字塔网络，有效缓解了信息损失 while 保持计算效率 under low compute 预算。它适用于 native, hardware-friendly kernel，利用解耦 block-tile 设计确保高效执行。在 video understanding and 生成基准测试中，PSA 保存 contextual 信息 and visual 保真度， consistently 超越或实现 comparable performance over existing sparse attention baselines with superior efficiency-quality trade-offs。我们的 code and model weights 公开 available at: http://ziplab.co/PSA
引用
@article{arxiv.2512.04025,
title = {PSA: Pyramid Sparse Attention for Efficient Video Understanding and Generation},
author = {Xiaolong Li and Youping Gu and Xi Lin and Weijie Wang and Bohan Zhuang},
journal= {arXiv preprint arXiv:2512.04025},
year = {2025}
}
备注
Tech report