DeepWiVe：深度学习辅助的无线视频传输

我们提出了 DeepWiVe，这是首个端到端的联合信源信道编码（JSCC）视频传输方案，它利用深度神经网络（DNN）的能力将视频信号直接映射到信道符号，将视频压缩、信道编码和调制步骤合并为一个单一的神经变换。我们的 DNN 解码器无需失真反馈即可预测残差，通过考虑遮挡/去遮挡和相机运动来提高视频质量。我们同时为各帧训练不同的带宽分配网络，以实现可变带宽传输。然后，我们使用强化学习（RL）训练一个带宽分配网络，该网络优化有限可用信道带宽在各视频帧之间的分配，以最大化整体视觉质量。我们的结果表明，DeepWiVe 能够克服传统基于分离的数字通信方案中普遍存在的悬崖效应，并在估计信道质量与实际信道质量不匹配时实现平滑降级。在多尺度结构相似性指数（MS-SSIM）方面，DeepWiVe 在所有信道条件下平均优于 H.264 视频压缩加低密度奇偶校验（LDPC）码方案高达 0.0462，同时平均优于 H.265 + LDPC 方案高达 0.0058。我们还通过展示最优带宽分配策略优于朴素的均匀分配，说明了在 JSCC 视频传输中优化带宽分配的重要性。我们相信，这是朝着实现端到端优化的 JSCC 无线视频传输系统潜力迈出的重要一步，该系统优于当前基于分离的设计。