用于CSI反馈的轻量级神经网络与知识蒸馏
信号处理
2024-03-05 v3
摘要
深度学习在提升信道状态信息（CSI）反馈方面已展现出潜力。然而，许多研究表明，更好的反馈性能往往伴随更高的计算复杂度。追求更优的性能-复杂度折中对于促进实际部署至关重要，尤其是在计算受限的设备上，其可能不得不使用性能不佳的轻量级自编码器。为实现这一目标，本文引入知识蒸馏（KD）以获得更好的折中，将复杂教师自编码器的知识迁移至轻量级学生自编码器以提升性能。具体而言，提出了两种实现方法。首先，通过训练学生自编码器来模仿预训练教师自编码器重构的CSI，引入了一种基于自编码器KD的方法。其次，提出了一种基于编码器KD的方法，仅对学生编码器执行KD以降低训练开销。此外，引入了一种编码器KD的变体以保护用户设备与基站厂商的知识产权。数值仿真表明，所提方法能显著提升学生自编码器性能，同时将浮点运算量与推理时间分别降至教师网络的3.05%–5.28%与13.80%–14.76%。此外，该变体编码器KD方法有效增强了学生自编码器在不同场景、环境与带宽下的泛化能力。
引用
@article{arxiv.2210.17113,
title = {Lightweight Neural Network with Knowledge Distillation for CSI Feedback},
author = {Yiming Cui and Jiajia Guo and Zheng Cao and Huaze Tang and Chao-Kai Wen and Shi Jin and Xin Wang and Xiaolin Hou},
journal= {arXiv preprint arXiv:2210.17113},
year = {2024}
}
备注
13 pages, 5 figures