从资源管理算法向神经网络蒸馏知识：一种统一训练辅助方法
机器学习
2023-08-16 v1 系统与控制
系统与控制
摘要
作为一个基础问题，众多方法致力于多用户场景下的信干噪比（SINR）优化。尽管传统的基于模型的优化方法取得了强劲性能，但其高复杂度催生了基于神经网络（NN）以权衡性能与复杂度的研究。为充分利用传统基于模型方法的高性能与基于 NN 方法的低复杂度，本文提出一种基于知识蒸馏（KD）的算法蒸馏（AD）方法，以提升基于 NN 方法的性能与收敛速度，其中传统 SINR 优化方法作为“教师”辅助作为“学生”的 NN 训练，从而增强无监督与强化学习技术的性能。该方法旨在缓解各训练范式中的常见问题，包括无法获得最优解作为标签及监督学习中的过拟合，确保无监督学习中更高的收敛性能，并提升强化学习中的训练效率。仿真结果表明，所提基于 AD 的方法相较传统学习方法性能更优。值得注意的是，本研究为无线通信系统优化中传统优化见解与新兴 NN 技术的融合铺平了道路。
引用
@article{arxiv.2308.07511,
title = {Distilling Knowledge from Resource Management Algorithms to Neural Networks: A Unified Training Assistance Approach},
author = {Longfei Ma and Nan Cheng and Xiucheng Wang and Zhisheng Yin and Haibo Zhou and Wei Quan},
journal= {arXiv preprint arXiv:2308.07511},
year = {2023}
}