基于视觉语言模型探索语义通信系统中图像传输的文本语义多样性
计算机视觉与模式识别
2025-07-31 v2 信号处理
摘要
近年来,机器学习的快速发展为传统通信系统带来了变革与挑战。语义通信作为一种有效策略,已用于提取图像传输的相关语义信号——语义分割标签与图像特征。然而,所提取的图像语义特征数量不足可能导致重建精度较低,这阻碍了实际应用,仍是亟待解决的难题。为填补这一空白,本文提出一种多文本传输语义通信(Multi-SC)系统,利用视觉语言模型(VLM)辅助图像语义信号的传输。与以往的图像传输语义通信系统不同,所提系统将图像划分为多个块,使用改进的大型语言与视觉助手(LLaVA)从图像中提取多条文本信息,并将语义分割标签与语义文本相结合以实现图像恢复。仿真结果表明,与相关工作相比,所提文本语义多样性方案可显著提升重建精度。
引用
@article{arxiv.2503.19386,
title = {Exploring Textual Semantics Diversity for Image Transmission in Semantic Communication Systems using Visual Language Model},
author = {Peishan Huang and Dong Li},
journal= {arXiv preprint arXiv:2503.19386},
year = {2025}
}