大模型时代的令牌通信：基于信息瓶颈的统一方法
信号处理
2025-07-03 v1 机器学习
摘要
本 letter 提出了UniToCom，一种统一的令牌通信范式，将令牌作为处理和无线传输的基本单位。具体而言，为实现高效的令牌表征，我们提出了生成式信息瓶颈（GenIB）原则，促进学习能够保留关键信息并支持跨多模态可靠生成的令牌。通过此方式，基于GenIB的令牌化对于提高通信效率和降低计算复杂度有益。此外，我们发展了-GenIB 以解决自回归建模中方差坍缩的挑战，保持表征的多样性和稳定性。此外，我们在接收端采用基于因果Transformer的多模态大语言模型（MLLM），在下一令牌预测范式下统一离散和连续令牌的处理。仿真结果表明，与基线方法相比，提出的UniToCom在动态信道条件下表现出更佳的有效性和优越性。通过将令牌处理与MLLM集成，UniToCom为多模态理解和生成提供了可扩展且通用的通信解决方案，为下一代智能通信提供了潜在解决方案。
引用
@article{arxiv.2507.01728,
title = {Token Communication in the Era of Large Models: An Information Bottleneck-Based Approach},
author = {Hao Wei and Wanli Ni and Wen Wang and Wenjun Xu and Dusit Niyato and Ping Zhang},
journal= {arXiv preprint arXiv:2507.01728},
year = {2025}
}