加速纠错码Transformer
机器学习
2024-10-10 v1 人工智能
信息论
math.IT
摘要
纠错码（ECC）对于确保通信系统中信息的可靠传输至关重要。Choukroun & Wolf (2022b) 最近引入了纠错码Transformer（ECCT），它在各种传输信道和码族上展示了有前景的性能。然而，与传统解码算法相比，其高昂的计算和内存需求限制了其实际应用。由于ECCT本身架构较小，对其实现有效的量化带来了重大挑战，因为现有的极低精度量化技术往往会导致紧凑型神经网络的性能下降。在本文中，我们介绍了一种新颖的基于Transformer的解码器加速方法。我们首先提出了一种专门为ECCT设计的三元权重量化方法，从而产生一个具有无乘法线性层的解码器。我们提出了一种优化的自注意力机制，通过码感知多头处理来降低计算复杂度。最后，我们通过Tanner图特征分解提供位置编码，从而能够更丰富地表示图的连通性。该方法不仅匹配或超越了ECCT的性能，而且显著降低了能耗、内存占用和计算复杂度。我们的方法使基于Transformer的纠错更接近在资源受限环境中的实际应用，在现代硬件上实现了90%的压缩比，并将算术运算能耗降低了至少224倍。
引用
@article{arxiv.2410.05911,
title = {Accelerating Error Correction Code Transformers},
author = {Matan Levy and Yoni Choukroun and Lior Wolf},
journal= {arXiv preprint arXiv:2410.05911},
year = {2024}
}