面向内存密集型负载的主机与远程共享内存高效编排

由于针对主机与远程空闲内存统一高效编排框架的贡献甚少，我们提出 Valet，一种用于编排主机与远程共享内存以提升内存密集型负载性能的高效方法。本文做出了三项原创贡献。首先，我们通过引入主机协调内存池作为本地缓存来重新设计关键路径中的数据流，以降低主机与远程内存编排关键路径中的延迟。其次，Valet 通过主机协调内存池管理本地内存，利用跨容器的未使用本地内存，使容器能够根据负载需求动态扩展和收缩其内存分配。第三，Valet 基于两种优化在远程节点上提供高效的远程内存回收技术：（1）基于活跃度的受害者选择方案，以选择最不活跃的数据块来服务驱逐请求；（2）迁移协议，将最不活跃的数据块迁移至内存压力较小的远程节点。因此，Valet 能有效降低对本地节点的性能影响与迁移开销。我们在 NoSQL 系统与机器学习（ML）负载上的大量实验表明，Valet 优于现有代表性远程分页系统：相比传统 OS 交换机制，大数据与 ML 负载吞吐量提升高达 226 倍、延迟降低高达 98%；相比最先进的远程分页系统，吞吐量提升高达 5.5 倍、延迟降低高达 78.4%。Valet 已在 https://github.com/git-disl/Valet 开源。