端到端通信深度学习架构中避免归一化不确定性
信号处理
2021-07-19 v1
摘要
近来，深度学习被视为优化数字通信系统端到端性能的一种手段。从数据中学习数字通信方案的前景颇具吸引力，因为这使得该方案能够适应并精确调谐至多种场景与信道模型。本文中，我们分析了一种广泛使用的神经网络架构，并指出端到端架构的训练受到由平均功率约束引入的归一化误差的影响。为解决此问题，我们提出了一种改进架构：将批切片移至归一化层之后。该方法能更好地满足归一化约束，尤其在批大小较小时。最后，我们通过实验证明，即便在归一化约束更易满足的大批大小情况下，我们的改进架构也能显著提升训练模型的性能。
引用
@article{arxiv.2107.07868,
title = {Avoiding normalization uncertainties in deep learning architectures for end-to-end communication},
author = {Simon Bos and Evgenii Vinogradov and Sofie Pollin},
journal= {arXiv preprint arXiv:2107.07868},
year = {2021}
}