STAC：面向流式3D重建的即插即用时空感知缓存压缩框架
计算机视觉与模式识别
2026-04-09 v2 图形学
图像与视频处理
摘要
在线从流式输入进行3D重建需要长期时空一致性和高效内存使用。尽管基于因果变体的VGGT通过键值（KV）缓存机制解决此挑战，但随着流长度线性增长，缓存成为主要内存瓶颈。在内存受限的情况下，早期缓存淘汰显著降低重建质量和时空一致性。本文发现，针对3D重建的因果变换器注意力具有内在的时空稀疏性。基于此洞察，我们提出STAC（Spatio-Temporally Aware Cache Compression），一种用于流式3D重建的时空感知缓存压缩框架，适用于大型因果变换器。STAC包含三个关键组件：（1）一种工作时序Token缓存机制，通过衰减累积注意力得分保留长期信息性Token；（2）一种长期空间Token缓存方案，将空间上冗余的Token压缩为体素对齐表示以实现内存高效存储；（3）一种基于块的多帧优化策略，以提高时序一致性和GPU效率。大量实验表明，STAC在实现国际领先的重建质量的同时，将内存消耗降低近10倍，推理加速4倍，显著提升了流式场景下实时3D重建的可扩展性。
引用
@article{arxiv.2603.20284,
title = {STAC: Plug-and-Play Spatio-Temporal Aware Cache Compression for Streaming 3D Reconstruction},
author = {Runze Wang and Yuxuan Song and Youcheng Cai and Ligang Liu},
journal= {arXiv preprint arXiv:2603.20284},
year = {2026}
}
备注
10 pages, 6 figures. Accepted by CVPR 2026. This version includes supplementary material