CrossMPT：用于纠错码的交叉注意力消息传递 Transformer
机器学习
2025-05-27 v2 信息论
math.IT
摘要
纠错码（ECC）对于通信系统中的可靠传输不可或缺。深度学习的最新进展促进了对基于神经网络的 ECC 解码器的探索。其中，基于 Transformer 的神经解码器已经实现了 SOTA 的解码性能。在本文中，我们提出了一种新颖的交叉注意力消息传递 Transformer（CrossMPT），它与传统的消息传递解码器共享关键操作原理。传统的基于 Transformer 的解码器采用自注意力机制，不区分输入向量的类型（即幅度向量和校验子向量），而 CrossMPT 使用两个掩码交叉注意力块分别且迭代地更新这两类输入向量。掩码矩阵由码的奇偶校验矩阵确定，明确捕捉两个输入向量之间的不相关关系。我们的实验结果表明，对于各种码类，CrossMPT 显著优于现有的基于神经网络的解码器。值得注意的是，CrossMPT 在实现解码性能提升的同时，显著减少了内存使用、复杂度、推理时间和训练时间。
关键词
引用
@article{arxiv.2405.01033,
title = {CrossMPT: Cross-attention Message-Passing Transformer for Error Correcting Codes},
author = {Seong-Joon Park and Hee-Youl Kwak and Sang-Hyo Kim and Yongjune Kim and Jong-Seon No},
journal= {arXiv preprint arXiv:2405.01033},
year = {2025}
}
备注
17 pages