自监督无线电预训练：面向频谱图学习的基础模型
信号处理
2024-11-18 v1 人工智能
机器学习
网络与互联网体系结构
摘要
基础深度学习（DL）模型是通用模型，在大规模、多样且无标签的数据集上训练，通常采用自监督学习技术，已在自然语言处理等领域取得显著进展。这些预训练模型可针对相关下游任务进行微调，提供更快的开发速度和更低的训练成本，同时往往能获得更优性能。本文提出掩码频谱图建模，一种用于在无线电信号上预训练基础 DL 模型的新型自监督学习方法。采用卷积 LSTM 架构以实现高效的时空处理，我们利用从空中接收测量中收集的无标签无线电数据集对模型进行预训练。随后，将预训练模型微调用于两个下游任务：频谱预测和分割。实验结果表明，该方法在预测精度和分割方面均达到有竞争力的性能，验证了其开发基础无线电模型的有效性。
引用
@article{arxiv.2411.09849,
title = {Self-Supervised Radio Pre-training: Toward Foundational Models for Spectrogram Learning},
author = {Ahmed Aboulfotouh and Ashkan Eshaghbeigi and Dimitrios Karslidis and Hatem Abou-Zeid},
journal= {arXiv preprint arXiv:2411.09849},
year = {2024}
}