基于权重量化的DNN说话人确认模型压缩
音频与语音处理
2023-09-26 v5 声音
摘要
基于DNN的说话人确认(SV)模型以相对较高的计算成本展现出显著性能。可应用模型压缩以降低模型大小,从而减少资源消耗。本研究利用权重量化压缩两种广泛使用的SV模型,即ECAPA-TDNN与ResNet。在VoxCeleb上的实验结果表明,权重量化对压缩SV模型十分有效。模型大小可被多次缩减而无明显性能下降。ResNet的压缩在低比特量化下比ECAPA-TDNN展现出更鲁棒的结果。对层权重的分析表明,ResNet平滑的权重分布可能与其更好的鲁棒性相关。量化模型的泛化能力通过语言不匹配的SV任务得到验证。此外,信息探测分析揭示量化模型能保留原始模型所学的大部分说话人相关知识。
引用
@article{arxiv.2210.17326,
title = {Model Compression for DNN-based Speaker Verification Using Weight Quantization},
author = {Jingyu Li and Wei Liu and Zhaoyang Zhang and Jiong Wang and Tan Lee},
journal= {arXiv preprint arXiv:2210.17326},
year = {2023}
}
备注
Accepted by INTERSPEECH2023