SafeTail：通过计算冗余管理实现边缘服务调度中的高效尾延迟优化
机器学习
2024-10-23 v1
摘要
在边缘计算中，优化尾延迟同时高效管理计算资源对于提供高性能、延迟敏感的服务至关重要。增强现实等新兴应用要求在计算能力通常有限的用户设备上获得低延迟且高可靠性的计算服务，因此这些设备依赖附近的边缘服务器进行处理。然而，无线网络的波动性和服务器负载的波动性导致的网络与计算延迟的固有不确定性，使得按时交付服务具有挑战性。现有方法通常侧重于优化中位数延迟，但在应对边缘环境中尾延迟的具体挑战时存在不足，尤其是在不确定的网络和计算条件下。尽管有些方法确实针对尾延迟，但它们通常依赖固定或过度的冗余，缺乏对动态网络条件的适应性，且往往是为云环境而非边缘计算的独特需求设计的。本文提出了 SafeTail，一个同时满足中位数和尾响应时间目标的框架，其中尾延迟定义为超过第 90 百分位阈值的延迟。SafeTail 通过在多个边缘服务器上选择性复制服务来应对这一挑战，以满足目标延迟。SafeTail 采用基于奖励的深度学习框架来学习最优放置策略，在实现目标延迟的需求与最小化额外资源使用之间取得平衡。通过基于真实轨迹的模拟，SafeTail 展现出接近最优的性能，并在三种不同的服务中优于大多数基线策略。
引用
@article{arxiv.2408.17171,
title = {SafeTail: Efficient Tail Latency Optimization in Edge Service Scheduling via Computational Redundancy Management},
author = {Jyoti Shokhanda and Utkarsh Pal and Aman Kumar and Soumi Chattopadhyay and Arani Bhattacharya},
journal= {arXiv preprint arXiv:2408.17171},
year = {2024}
}
备注
This work has been submitted to the IEEE for possible publication