基于 MLLM 辅助特征补偿的熵-信道感知自适应速率语义通信
图像与视频处理
2026-03-11 v4
摘要
尽管语义通信（SemCom）在传统方法上实现了传输效率提升，但大多数现有SemCom方案仍以固定传输速率运行，无论信道条件和传输内容，这导致有利信道中资源浪费以及不利信道中性能下降。为此，我们提出一种新型SemCom框架，集成熵-信道感知自适应速率控制机制，适用于MIMO Rayleigh衰落信道。具体而言，我们将信道状态信息（CSI）和信噪比（SNR）的联合表示嵌入语义编码器和解码器，从而实现信道感知的语义编码与解码。此外，本方法联合利用CSI、SNR、特征图及其2D熵，通过两个策略网络有选择地传输子集特征图，并在每个选定特征图内部仅传输子集符号。从而实现比现有方法更细粒度的自适应速率控制。在接收端，利用多模态大型语言模型（MLLMs）的强大视觉理解能力，我们部署预训练InternVL3.5模型的轻量级视觉编码器（InternViT-300M）来补偿被丢弃的特征图和符号，并使用低秩适应（LoRA）进行参数高效训练。实验结果表明，在设计了信道感知损失函数后，系统可自动在差勉信道下分配更多通信资源以提升任务性能，在有利信道下减少资源使用，同时保持高任务性能。
引用
@article{arxiv.2501.15414,
title = {Entropy-and-Channel-Aware Adaptive-Rate Semantic Communication with MLLM-Aided Feature Compensation},
author = {Weixuan Chen and Qianqian Yang and Yuhao Chen and Chongwen Huang and Qian Wang and Zehui Xiong and Zhaoyang Zhang},
journal= {arXiv preprint arXiv:2501.15414},
year = {2026}
}