基于潜在注意力的近 ML 极性解码变换器（短码 regime）
信号处理
2025-07-22 v1
摘要
变换器架构已成为建模信道解码中复杂序列到序列相互作用的有前景的深度学习（DL）工具。然而，当前基于变换器的错误更正码（ECC）解码器在性能和泛化能力方面表现不佳，尤其是在短码 regime 下。本文提出一种新型潜在注意力变换器（LAT）解码器，用于极性码，旨在通过三个关键创新解决性能和泛化能力的局限性。首先，我们发展了潜在注意力机制，以超越常规自注意力机制。这种架构修改使 Query 和 Key 矩阵能够独立学习，以实现代码感知注意力计算，将其从 Value 矩阵中解耦，以突出位置相关的解码相互作用，同时减少上下文相关性干扰。其次，我们构思了一个高级训练框架，包含三个协同组件：熵感知重要性抽样以强调信号星座空间中低概率区域、经验重流以引入经验标签以改进解码边界的表征，以及动态标签平滑用于基于似然的正则化。第三，我们提出一种代码感知掩码方案，允许动态适应不同代码配置。数值评估表明，所提出的 LAT 解码器在短长度极性码的比特错误率（BER）和块错误率（BLER）方面实现了接近最大似然（ML）的性能。此外，该架构在 diverse code rates 和 code lengths 之间展现出稳健的泛化能力。
引用
@article{arxiv.2507.14951,
title = {Latent-attention Based Transformer for Near ML Polar Decoding in Short-code Regime},
author = {Hongzhi Zhu and Wei Xu and Xiaohu You},
journal= {arXiv preprint arXiv:2507.14951},
year = {2025}
}