神经置信传播解码器的泛化界
信息论
2024-04-23 v2 机器学习
math.IT
摘要
基于机器学习的方法正越来越多地用于设计下一代通信系统的解码器。一个广泛使用的框架是神经置信传播（NBP），它将置信传播（BP）迭代展开为深度神经网络，并以数据驱动方式训练参数。NBP 解码器已被证明优于经典解码算法。本文中，我们研究 NBP 解码器的泛化能力。具体地，解码器的泛化差距为经验与期望误码率之差。我们给出界定该差距的新理论结果，并展示其对解码器复杂度的依赖，具体通过码参数（块长、消息长度、变量/校验节点度）、解码迭代次数和训练数据集大小体现。结果针对正则与不规则校验矩阵均给出。据我们所知，这是关于基于神经网络的解码器泛化性能的首套理论结果。我们给出实验结果以展示泛化差距对不同码的训练数据集大小和解码迭代次数的依赖。
引用
@article{arxiv.2305.10540,
title = {Generalization Bounds for Neural Belief Propagation Decoders},
author = {Sudarshan Adiga and Xin Xiao and Ravi Tandon and Bane Vasic and Tamal Bose},
journal= {arXiv preprint arXiv:2305.10540},
year = {2024}
}
备注
Published in IEEE Transactions on Information Theory (2024)