BS-PLCNet 2: 基于模型内知识蒸馏的两阶段分频带丢包隐藏网络
音频与语音处理
2024-06-11 v1
摘要
音频丢包是实时语音通信中不可避免的问题。最近提出了一种针对全频带信号的分频带丢包隐藏网络(BS-PLCNet)。尽管它在ICASSP 2024 PLC挑战赛中表现出色，但BS-PLCNet是一个大型模型，计算复杂度高达8.95G FLOPS。本文介绍了其更新版本BS-PLCNet 2，旨在降低计算复杂度并进一步提升性能。具体来说，为了补偿缺失的未来信息，在宽带模块中，我们设计了一个双路径编码器结构（包含非因果路径和因果路径），并利用模型内知识蒸馏策略将未来信息从非因果教师网络蒸馏到因果学生网络。此外，我们在丢包恢复后引入了一个轻量级的后处理模块，以恢复语音失真并去除音频信号中的残留噪声。BS-PLCNet 2仅使用BS-PLCNet原始参数的40%，就在ICASSP 2024 PLC挑战赛盲测集上带来了0.18 PLCMOS的提升，在该数据集上实现了最先进的性能。
引用
@article{arxiv.2406.05961,
title = {BS-PLCNet 2: Two-stage Band-split Packet Loss Concealment Network with Intra-model Knowledge Distillation},
author = {Zihan Zhang and Xianjun Xia and Chuanzeng Huang and Yijian Xiao and Lei Xie},
journal= {arXiv preprint arXiv:2406.05961},
year = {2024}
}
备注
Accepted by Interspeech 2024