ClST：基于知识蒸馏的自动调制识别卷积 Transformer 框架
机器学习
2024-01-01 v1 人工智能
信号处理
摘要
近年来，随着深度学习（DL）的快速发展，基于 DL 的自动调制识别（AMR）已实现了高准确率。然而，复杂信道环境下训练信号数据不足以及大规模 DL 模型，是导致 DL 方法难以在实际中部署的关键因素。针对这些问题，我们提出了一种名为卷积链接信号 Transformer（ClST）的新型神经网络，以及一种名为信号知识蒸馏（SKD）的新型知识蒸馏方法。ClST 通过三项主要修改来实现：包含卷积的 Transformer 层级结构、一种名为并行空间通道注意力（PSCA）机制的新型注意力机制，以及一种名为卷积 Transformer 投影（CTP）的新型卷积 Transformer 块以利用卷积投影。SKD 是一种有效降低神经网络参数和复杂度的知识蒸馏方法。我们使用 SKD 算法训练了两个轻量级神经网络 KD-CNN 和 KD-MobileNet，以满足神经网络可在微型化设备上使用的需求。仿真结果表明，ClST 在所有数据集上均优于先进的神经网络。此外，KD-CNN 和 KD-MobileNet 均以更低的网络复杂度获得了更高的识别准确率，这对于在微型化通信设备上部署 AMR 非常有益。
引用
@article{arxiv.2312.17446,
title = {ClST: A Convolutional Transformer Framework for Automatic Modulation Recognition by Knowledge Distillation},
author = {Dongbin Hou and Lixin Li and Wensheng Lin and Junli Liang and Zhu Han},
journal= {arXiv preprint arXiv:2312.17446},
year = {2024}
}