GSPN-2：高效并行序列建模
机器学习
2025-12-10 v1 人工智能
计算机视觉与模式识别
摘要
高效的视觉变换器仍是高分辨率图像和长视频相关实际应用的瓶颈。 Generalized Spatial Propagation Network（GSPN）通过将二次自注意力替换为行扫描传播方案来解决此问题， 将计算成本 brought 到接近行或列的线性， 同时保持准确性。 尽管如此，现有的 GSPN 实现仍受制于（i）由于反复启动 GPU 内核而产生的重负载，（ii）从全局 GPU 内存进行的大量数据传输，（iii）由于为每个通道维持独立传播权重而导致的冗余计算。 我们引入 GSPN-2，进行联合算法-系统重新设计。 具体而言，我们将前一种实现中的数千次微型启动整合到单个 2D 内核中， 为每个通道切片明确指定一个 warp， 并在共享内存中保存前一列的激活。 在模型层面，我们引入一种紧凑的通道传播策略， 替换每个通道的矩阵， 参数削减， 并自然与变换器注意力中使用的亲和力图对齐。 实验表明，GSPN-2 在图像分类和文本到图像合成任务上有效， 在显著降低计算成本的同时， 匹配变换器水平的准确性。 GSPN-2 通过其唯一结合结构化矩阵变换和 GPU 优化实现的独特组合， 为建模视觉应用中的全局空间上下文树立了新的效率前沿。 项目页面：https://whj363636.github.io/GSPN2/。
引用
@article{arxiv.2512.07884,
title = {GSPN-2: Efficient Parallel Sequence Modeling},
author = {Hongjun Wang and Yitong Jiang and Collin McCarthy and David Wehr and Hanrong Ye and Xinhao Li and Ka Chun Cheung and Wonmin Byeon and Jinwei Gu and Ke Chen and Kai Han and Hongxu Yin and Pavlo Molchanov and Jan Kautz and Sifei Liu},
journal= {arXiv preprint arXiv:2512.07884},
year = {2025}
}
备注
NeurIPS 2025