异步负载均衡与自动扩缩容：平均场极限与最优设计

我们开发了一个马尔可夫框架用于负载均衡，该框架将 Power-of-$d$ 等经典算法与自动扩缩容机制相结合，使净服务能力能够随作业动态在同一时间尺度上根据当前负载向上或向下伸缩。我们的框架受 Knative 等无服务器平台启发，其中服务器是软件函数，可根据无服务器平台用户定义的扩缩容规则在毫秒级灵活实例化。核心问题是如何设计此类扩缩容规则，以在最小化用户感知延迟性能的同时确保低能耗。我们首次在自动扩缩容与负载均衡过程异步（或主动）运行（如 Knative 中）的情况下研究该问题。与同步（或被动）范式相比，异步的优势在于作业不必在作出扩容决策时等待。在我们的主要结果中，我们找到了扩缩容规则结构的一个一般条件，能够驱动平均场动态达到延迟与相对能耗最优，即随着网络需求按标称服务能力成比例增长至无穷，用户感知延迟与空闲服务器引起的相对能耗浪费均消失的情形。所识别的条件表明：当且仅当平均需求超过服务器变为空闲与活跃的比率时才扩容当前净容量。最后，我们提出了一族满足最优条件的扩缩容规则。数值模拟表明，这些规则比现有同步自动扩缩容方案具有更好的延迟性能，同时引起几乎相同的功耗。