面向抗误码神经语音编码

神经音频编码近期在文献中展现出极具前景的结果,大幅优于传统编解码器,但其抗误码性却鲜受关注。仅考虑信源编码训练的神经网络编解码器往往对信道噪声极为敏感,尤其在误码率高的无线信道中。本文研究如何提升用于实时通信中常见丢包的神经音频编解码器的抗误码能力。我们提出一种用于实时神经语音编码的特征域丢包隐藏算法(FD-PLC)。具体而言,我们在解码器之前于接收到的潜特征上引入基于自注意力的模块,以在特征域中恢复丢失帧。采用段级与帧级混合频域判别器引导网络同时关注丢失帧的生成质量及其与邻帧的连续性。多种误码模式下的实验结果表明,所提方案相比对应的无误差与抗误码基线具有更好的鲁棒性。我们还表明特征域隐藏作为后处理优于波形域对应方法。