CSR：基于大规模缓存状态表示的无限视野实时策略
机器人学
2026-05-11 v1 人工智能
摘要
将大型语言模型(LLM)部署为机器人持续认知引擎的瓶颈在于处理大量历史状态所需的首次标记延迟(TTFT)。现有解决方案如 RAG 或滑动窗口会妥协全局上下文或造成昂贵的重新计算成本。我们形式化了最小化延迟的 optimal task structure，并理论证明了前缀稳定性、增量可扩展性和异步状态 reconciliation 是实现实时性能的必要条件。基于这些证明，我们引入了缓存状态表示(CSR)框架作为这些属性的实际实现，确保 optimal KV 缓存复用。为维持这些属性在无限视野下的持久性，我们进一步提出了异步状态 reconciliation(ASR)算法，该算法将状态内存驱逐卸载到并行计算资源上以消除延迟峰值。在一台 physically connected to 远程 GPU 服务器的机器人上，CSR 对于 120K token 上下文和 235B 参数模型实现了 26 倍的延迟降低(从 14.67s 降至 0.56s)，相较于标准基线。 在具身 AI 基准测试中，我们实现了 SOTA recall(0.836 vs. 0.459)，同时保持 RAG 级别的延迟。ASR 在连续实际操作中经历 10 次驱逐循环，验证了其维持受限、无峰值的 TTFT 的能力。CSR 和 ASR 共同使大型语言模型能够作为 continuously operating、高频率(> 2 Hz)具身策略运行。
引用
@article{arxiv.2605.07325,
title = {CSR: Infinite-Horizon Real-Time Policies with Massive Cached State Representations},
author = {Robin Karlsson and Go Suzui},
journal= {arXiv preprint arXiv:2605.07325},
year = {2026}
}
备注
Extended Technical Report for Paper Accepted to IEEE RA-L