面向学习型 TCP 拥塞控制的符号蒸馏
机器学习
2022-11-01 v1 人工智能
摘要
近年来 TCP 拥塞控制（CC）借助深度强化学习（RL）方法取得巨大成功，其使用前馈神经网络（NN）学习复杂的环境条件并做出更好的决策。然而，此类“黑盒”策略缺乏可解释性与可靠性，且常因使用复杂 NN 而需在传统 TCP 数据通路之外运行。本文提出一种新颖的两阶段方案以兼得二者之长：先训练深度 RL 智能体，再将其（过）参数化的 NN 策略蒸馏为白盒、轻量级的符号表达式规则，更易于理解并在受限环境中实现。我们方案的核心是一种新颖的符号分支算法，使规则能感知各类网络条件下的上下文，最终将 NN 策略转化为符号树。蒸馏出的符号规则在保持甚至常优于最先进 NN 策略性能的同时，比标准神经网络更快更简单。我们在仿真与仿真模拟环境中验证了蒸馏符号规则的性能。我们的代码见 https://github.com/VITA-Group/SymbolicPCC。
引用
@article{arxiv.2210.16987,
title = {Symbolic Distillation for Learned TCP Congestion Control},
author = {S P Sharan and Wenqing Zheng and Kuo-Feng Hsu and Jiarong Xing and Ang Chen and Zhangyang Wang},
journal= {arXiv preprint arXiv:2210.16987},
year = {2022}
}
备注
Accepted in Advances in Neural Information Processing Systems (NeurIPS), 2022