通过对抗位翻转实现 Infomax 神经联合信源信道编码

尽管 Shannon 理论指出将信源编码和信道编码作为两个独立过程分离是渐近最优的，但在许多实际通信场景中，这种分解受限于有限的比特长度和解码所需的计算能力。最近，神经联合信源信道编码（NECST）被提出以规避这一问题。虽然它利用了摊余推断和深度学习的进展来改进编码和解码过程，但由于其学习到的编码网络鲁棒性有限，在压缩和纠错性能方面仍无法始终取得引人注目的结果。在本文中，受神经联合信源信道编码与离散表示学习之间内在联系的启发，我们提出了一种名为 Infomax 对抗位翻转（IABF）的新型正则化方法，以提高神经联合信源信道编码方案的稳定性和鲁棒性。更具体地说，在编码器端，我们提出显式最大化码字与数据之间的互信息；而在解码器端，摊余重构在对抗框架内进行正则化。在各种真实世界数据集上进行的大量实验证明，我们的 IABF 在压缩和纠错基准测试上均能取得 SOTA 性能，并以显著优势优于基线方法。