Contrast-PLC：面向丢包隐藏的对比学习
声音
2023-02-28 v1 音频与语音处理
摘要
在可用上下文有限的情况下，丢包隐藏（PLC）在合理且自然地隐藏缺失内容方面具有挑战性。近年来，基于深度学习的 PLC 算法已展现出相对于传统方法的优越性；但其隐藏能力大多仍局限于最多 120ms 的丢包。即便使用强大的基于 GAN 的生成模型，预测可能发生在音素内部或音素之间的长突发丢包仍然非常困难。本文提出使用对比学习来学习一种对丢包具有鲁棒性的语义表示，用于 PLC。设计了一种结合语义预测与基于 GAN 的生成模型的混合神经 PLC 架构，以验证其有效性。在 Interspeech2022 PLC Challenge 的盲测试集上的结果表明，该方法优于常用的 UNet 风格框架以及未使用对比学习的框架，尤其在 (120, 220] ms 的较长突发丢包情况下。
引用
@article{arxiv.2302.13284,
title = {Contrast-PLC: Contrastive Learning for Packet Loss Concealment},
author = {Huaying Xue and Xiulian Peng and Yan Lu},
journal= {arXiv preprint arXiv:2302.13284},
year = {2023}
}
备注
5 pages, ICASSP 2023(Accepted)