将预训练语言模型与物理层通信集成
信息论
2024-07-02 v2 计算与语言
机器学习
信号处理
math.IT
摘要
设备端 AI 通信这一新兴领域要求设备通过嵌入的基础模型（如语言模型 (LM)）直接交换信息，这需要健壮、高效且可泛化的通信框架。然而，将这些框架与现有无线系统集成并有效管理噪声和比特错误构成了重大挑战。在本文中，我们介绍了一种实用的设备端 AI 通信框架，该框架集成了物理层 (PHY) 通信功能，并通过链路级仿真器上的性能进行了演示。我们的框架结合了包含信道噪声的端到端训练以增强鲁棒性，引入了矢量量化变分自编码器 (VQ-VAE) 以实现高效且鲁棒的通信，并利用预训练的编码器 - 解码器 Transformer 来提升泛化能力。在各种通信场景下的仿真表明，我们的框架在标准化的 3GPP 信道模型下，实现了传输大小减少 50%，同时展现出显著的泛化能力和噪声鲁棒性。
引用
@article{arxiv.2402.11656,
title = {Integrating Pre-Trained Language Model with Physical Layer Communications},
author = {Ju-Hyung Lee and Dong-Ho Lee and Joohan Lee and Jay Pujara},
journal= {arXiv preprint arXiv:2402.11656},
year = {2024}
}