基于Transformer架构构建6G无线电基础模型
信号处理
2024-11-18 v1 人工智能
网络与互联网体系结构
摘要
基础深度学习（DL）模型是通用模型，旨在学习目标模态的通用、鲁棒且可适应的表示，从而支持跨多种下游任务的微调。这些模型通过自监督学习（SSL）在大规模无标签数据集上进行预训练。基础模型展示了优于传统监督方法的泛化能力，这对无线通信至关重要，因为动态环境要求模型具备适应性。在本工作中，我们提出并验证了视觉Transformer（ViT）作为用于频谱图学习的无线电基础模型的有效性。我们引入了一种掩码频谱建模（MSM）方法，以自监督方式预训练ViT。我们在两个下游任务上评估了基于ViT的基础模型：基于信道状态信息（CSI）的人体活动感知和频谱图分割。实验结果表明，该模型在泛化到多样化领域的同时，性能可与监督训练相媲美。值得注意的是，预训练的ViT模型在频谱图分割任务上超越了一个规模大四倍的从头训练模型，且所需训练时间显著减少，在基于CSI的人体活动感知任务上也取得了有竞争力的性能。这项工作证明了ViT结合MSM进行预训练的有效性，是未来6G网络中可扩展基础模型开发的一种有前景的技术。
引用
@article{arxiv.2411.09996,
title = {Building 6G Radio Foundation Models with Transformer Architectures},
author = {Ahmed Aboulfotouh and Ashkan Eshaghbeigi and Hatem Abou-Zeid},
journal= {arXiv preprint arXiv:2411.09996},
year = {2024}
}