网络延迟对生存时间缓存的影响

我们考虑生存时间（TTL）缓存，其为缓存中的每个对象标记一个特定的（且可续期的）过期时间。TTL 缓存的最先进模型假设对象获取延迟为零，即从未在缓存中的不同缓存或源服务器获取被请求对象所需的时间。特别是在缓存层次结构中，该延迟对诸如对象命中概率等性能指标有显著影响。近期工作表明，由于数据中心链路速率提高导致请求间隔缩短，与处理和内存访问时间形成缩放失配，对象获取延迟对缓存性能的影响将持续增大。在本文中，我们分析具有随机对象获取延迟的基于树的缓存层次结构，并给出相应对象命中概率的精确分析。我们的分析能够理解随机延迟和 TTL 对一类由马尔可夫到达过程刻画的广泛请求流模型的缓存指标的影响。这通过我们称之为命中概率延迟损伤的度量来表达。此外，我们分析并扩展了最先进的命中概率近似方法以考虑延迟。我们提供了数值和基于轨迹仿真的评估结果，表明更大的 TTL 不能有效补偿对象获取延迟的有害影响。我们的评估还显示，与我们的精确模型不同，最先进的近似方法不能很好地捕捉对象获取延迟的影响，尤其是在缓存层次结构中。令人惊讶的是，我们表明该延迟对命中概率的影响并非单调的，而是取决于请求流属性以及 TTL。