深度学习的纠错码训练层面解读
信息论
2023-05-09 v1 机器学习
math.IT
摘要
随着新的深度学习纠错码不断被提出，开发工具以解读所设计码并理解训练过程十分重要。先前聚焦于深度学习的 TurboAE 的工作，既通过将习得的编码器映射至邻近“可解释”编码器进行事后解读，又通过各类解码器对这些可解释编码器的性能进行实验评估。此处我们着眼于开发用于解读深度学习纠错码训练过程的工具，聚焦：1）使用 Goldreich-Levin 算法快速解读习得的编码器；2）使用傅里叶系数作为理解训练动态与损失景观的工具；3）通过将训练损失（二元交叉熵）与编码器、解码器参数及误码率（BER）相关联来重新表述；4）利用这些洞见制定并研究一种新的训练流程。所有工具均在 TurboAE 上演示，但适用于其他深度学习前向纠错码（无反馈）。
引用
@article{arxiv.2305.04347,
title = {Interpreting Training Aspects of Deep-Learned Error-Correcting Codes},
author = {N. Devroye and A. Mulgund and R. Shekhar and Gy. Turán and M. Žefran and Y. Zhou},
journal= {arXiv preprint arXiv:2305.04347},
year = {2023}
}
备注
11 pages, long version including Appendix of ISIT 2023 paper with same title