GHOST：几何分层在线流式 Token 驱逐用于高效 3D 重建
计算机视觉与模式识别
2026-05-29 v2
摘要
从长单目视频序列进行流式 3D 重建需要维护随序列长度线性增长的 key-value（KV）缓存，这造成严重的内存瓶颈。现有方法要么截断缓存为固定的锚框集合，导致重建质量下降，要么依赖对 3D 场景结构不敏感的注意力得分启发式方法，无法保留几何上有价值的 token。为此，我们提出 GHOST（Geometry-Hierarchical Online Streaming Token Eviction），一个利用模型自身 3D 几何输出在线驱逐冗余 token 的 training-free KV 缓存管理框架。GHOST 引入三个相互强化的创新：分层双层重要性评分方案、一种保护特殊 token 免受驱逐的特权机制，以及余弦相似度引导的层级预算分配。在各种基准测试上实验表明，GHOST 在保持优异重建质量的同时，将 KV 缓存缩减近半，并实现比现有方法快 1.75 倍的推理速度。我们的代码可在 https://github.com/lokiniuniu/GHOST 获取。
引用
@article{arxiv.2605.15852,
title = {GHOST: Geometry-Hierarchical Online Streaming Token Eviction for Efficient 3D Reconstruction},
author = {Leyang Chen and Junyi Wu and Zhiteng Li and Yulun Zhang},
journal= {arXiv preprint arXiv:2605.15852},
year = {2026}
}