一种基于深度强化学习的 TCP 拥塞控制算法：设计、仿真与评估

本文介绍了一种基于深度强化学习 (DRL) 的 TCP 拥塞控制算法，使用深度 Q 网络 (DQN) 根据观察到的网络状态动态调整拥塞窗口 (cWnd)。该方法利用 DQN 优化拥塞窗口，通过观察关键网络参数并采取实时动作来实现。该算法在 NS-3 网络仿真器中进行训练和评估，使用 OpenGym 接口。结果表明，DRL 基于算法在吞吐量和延迟之间提供了优越的平衡，优于传统的 TCP New Reno 和 TCP Cubic 算法。具体而言：与 TCP Cubic 相比，DRL 算法在吞吐量上实现可相当（-3.79% 的统计学无关差异，$p>0.05$），同时将往返时间 (RTT) 降低了 46.29%。此外，DRL 智能体保持接近零的数据丢失，而 Cubic 因缓冲区溢出而出现显著数据丢失。与 TCP New Reno 相比，DRL 算法在吞吐量上实现可相当（+0.38%），将 RTT 降低 32.40%。NS-3 仿真结果表明，所提出的 DRL 智能体有效缓解了缓冲膨胀，而不牺牲带宽利用率。这一研究强调了利用强化学习技术解决现代网络中复杂拥塞控制问题的潜力，通过学习网络容量而非饱和它。