DESiRED——动态、增强且智能的 iRED：一种结合深度强化学习与带内网络遥测的 P4-AQM
网络与互联网体系结构
2023-10-30 v1
摘要
主动队列管理（AQM）是一种用于缓解路由器、交换机等网络设备缓冲区中瞬时拥塞的机制。传统 AQM 算法使用固定阈值（如目标延迟或队列占用率）来计算随机丢包概率。过小的目标延迟会增加丢包并降低链路利用率，而过大的目标延迟则可能增加排队延迟同时降低丢包概率。由于网络流量具有动态特性，流量波动可导致显著的队列变化，维持固定阈值的 AQM 可能并不适合所有应用。因此，我们探讨如下问题：\textit{AQM 的理想阈值（目标延迟）是什么？} 在本工作中，我们提出 DESiRED（Dynamic, Enhanced, and Smart iRED），一种基于 P4 的 AQM，它利用来自带内网络遥测（INT）的精确网络反馈来驱动深度强化学习（DRL）模型。该模型基于最大化应用服务质量（QoS）的奖励动态调节目标延迟。我们在一个运行 MPEG-DASH 服务的真实基于 P4 的测试环境中评估 DESiRED。我们的结果表明，当目标延迟由 DESiRED 动态调整时，视频卡顿最多减少 90 倍，高分辨率视频播放质量提升 42 倍。
引用
@article{arxiv.2310.18159,
title = {DESiRED -- Dynamic, Enhanced, and Smart iRED: A P4-AQM with Deep Reinforcement Learning and In-band Network Telemetry},
author = {Leandro C. de Almeida and Washington Rodrigo Dias da Silva and Thiago C. Tavares and Rafael Pasquini and Chrysa Papagianni and Fábio L. Verdi},
journal= {arXiv preprint arXiv:2310.18159},
year = {2023}
}
备注
Preprint (Computer Networks under review)