CacheMind：从缺失率到原因——基于检索增强生成的缓存替换自然语言、链路驱动推理
摘要
缓存替换是 CPU 微体系结构中的一个具有挑战性的问题，常通过手工制造的启发式方法来解决，限制了缓存性能。缓存数据分析需要解析数百万的 trace 条目并进行手动过滤，使过程缓慢且非互动式。为解决此问题，我们提出了 CacheMind，一种使用检索增强生成（RAG）和大型语言模型（LLM）的对话式工具，使其能够对缓存 trace 进行语义推理。现在，架构师可以提出类似“与 PC X 相关的内存访问为何导致更多驱逐？”的自然语言问题，并获得与程序语义关联的、人类可读的、基于 trace 的答案。为评估 CacheMind，我们提出了 CacheMindBench，即首个为 LLM 基于缓存替换问题推理验证的基准套件。使用 SIEVE 检索器，CacheMind 在 75 个未见的 trace 驱动问题上实现 66.67% 的准确率，在 25 个未见的策略特定推理任务上实现 84.80% 的准确率；使用 RANGER，分别实现 89.33% 和 64.80%。此外，使用 RANGER，CacheMind 在 CacheMindBench trace 驱动层的 4 个 6 个类别中实现 100% 的准确率。与 LlamaIndex（10% 检索成功）相比，SIEVE 实现 60%，RANGER 实现 90%，表明现有的检索增强生成（RAG）不足以进行精确的、基于 trace 的微体系结构推理。我们提供了四项具体可操作的见解，通过 CacheMind 实现了绕过 use case 的缓存命中率提升 7.66% 和加速 2.04%，软件修复 use case 实现加速 76%，Mockingjay 替换策略 use case 实现加速 0.7%；显示出 CacheMind 在需要自然语言界面处理非平凡查询方面的实用性。
引用
@article{arxiv.2602.12422,
title = {CacheMind: From Miss Rates to Why -- Natural-Language, Trace-Grounded Reasoning for Cache Replacement},
author = {Kaushal Mhapsekar and Azam Ghanbari and Bita Aslrousta and Samira Mirbagher-Ajorpaz},
journal= {arXiv preprint arXiv:2602.12422},
year = {2026}
}
备注
16 pages, 13 figures, ASPLOS 2026