揭示复值 Transformer 在无线通信中的强大能力
信号处理
2025-02-18 v1
摘要
在无线通信任务中利用复值神经网络（CVNNs）已受到越来越多的关注，因其能够提供对复值信号和数据的自然且有效的表示。然而，现有研究通常仅采用简单神经网络架构的复值版本。它们不仅仅触及广泛现代深度学习技术的表面，而且对 CVNNs 优异性能的理论理解也缺失。为此，本文旨在填补在无线通信中采用 CVNNs 的理论与实践鸿沟。具体而言，我们全面描述了 CVNNs 中的各种操作，并从理论上证明了 CVNN 达到给定连续函数逼近误差所需的层数少于其实值对应网络。此外，为推动 CVNNs 在无线通信领域的发展，本文聚焦于 Transformer 模型，它代表了一种更复杂的深度学习架构，已在无线通信中展现出优异性能，但仅在其复值形式下。在这方面，我们提出了面向无线通信的复值 Transformer 的基本范式。利用该结构，我们为无线通信中的三个代表性应用开发了定制化的复值 Transformer：信道估计、用户活动检测和预编码设计。这些应用利用了不同复杂程度的 Transformer，涵盖了从回归到分类、从监督到无监督学习、从特定模块设计到端到端设计的多种任务。实验结果表明，复值 Transformer 在上述三个应用中的性能优于其他传统的基于实值神经网络的方法。
引用
@article{arxiv.2502.11151,
title = {Unveiling the Power of Complex-Valued Transformers in Wireless Communications},
author = {Yang Leng and Qingfeng Lin and Long-Yin Yung and Jingreng Lei and Yang Li and Yik-Chung Wu},
journal= {arXiv preprint arXiv:2502.11151},
year = {2025}
}
备注
Submitted to IEEE for possible publications