构建模态间隙距：通过语义对齐的大型语言模型与知识蒸馏提升信道预测
信号处理
2025-11-18 v2
摘要
准确的信道预测对于提高大规模多输入多输出 (m-MIMO) 系统的波束成形效果并减少信道状态信息 (CSI) 反馈开销至关重要。然而，现有方法常因预测误差积累和对动态无线环境的泛化能力较差而受限。大型语言模型 (LLM) 在诸如时间序列预测等任务中展现出卓越的建模和泛化能力，因而成为一个有前景的解决方案。然而，预训练LLM中嵌入的语言知识与CSI固有特征之间存在显著的模态间隙，构成了将其直接应用于信道预测的主要挑战。此外，LLM的大规模参数量阻碍了在延迟严格的实际通信系统中的部署。为解决这些挑战，我们提出了一种基于语义对齐大型模型的信道预测框架，称为CSI-ALM，用于在自然语言与信道信息之间搭建模态间隙。具体而言，我们设计了一个跨模态融合模块，以对齐CSI表示。此外，我们最大化单词嵌入与CSI嵌入之间的余弦相似度，以构建语义线索。为降低复杂度并实现实际应用，我们进一步引入了该方法的轻量级版本，称为CSI-ALM-Light。该变体通过基于注意力矩阵的知识蒸馏策略实现。广泛的实验结果表明，CSI-ALM相较于最先进的深度学习方法实现了1 dB的提升。此外，在训练数据有限的情况下，仅含0.34万参数的CSI-ALM-Light可实现与CSI-ALM相当的性能，并显著优于传统深度学习方法。
引用
@article{arxiv.2505.12729,
title = {Bridging the Modality Gap: Enhancing Channel Prediction with Semantically Aligned LLMs and Knowledge Distillation},
author = {Zhaoyang Li and Qianqian Yang and Zehui Xiong and Zhiguo Shi and Tony Q. S. Quek},
journal= {arXiv preprint arXiv:2505.12729},
year = {2025}
}