使用特征划分与融合变换模块的轻量级说话人验证
音频与语音处理
2023-12-07 v1
摘要
尽管在降低说话人验证模型复杂度方面已付出诸多努力，但在低资源终端上部署性能令人满意的说话人验证系统仍具挑战性。我们设计了一种执行特征划分与融合的变换模块，以实现轻量级说话人验证。该变换模块由多个简单但有效的操作组成，如卷积、池化、均值、拼接、归一化和逐元素求和。它以即插即用的方式工作，可轻松植入多种模型，以在降低模型复杂度的同时保持模型误差。首先，输入特征被分割成多个低维特征子集以降低模型复杂度。然后，每个特征子集通过融合子集间的相关信息进行更新，以增强其表示能力。最后，更新后的特征子集被独立馈入模型的块（一层或多层）中进行进一步处理。从模型当前块输出的特征在馈入模型下一块之前，均按上述步骤处理。实验数据选自两个公开语音语料库（即 VoxCeleb1 和 VoxCeleb2）。结果表明，将变换模块植入三种模型（即 AMCRN、ResNet34 和 ECAPA-TDNN）进行说话人验证，略微增加了模型误差，但显著降低了模型复杂度。我们提出的方法在内存需求和计算复杂度方面总体上优于基线方法，且等错误率更低。该方法在不同长度的截断语音段上也具有良好的泛化能力。
引用
@article{arxiv.2312.03324,
title = {Lightweight Speaker Verification Using Transformation Module with Feature Partition and Fusion},
author = {Yanxiong Li and Zhongjie Jiang and Qisheng Huang and Wenchang Cao and Jialong Li},
journal= {arXiv preprint arXiv:2312.03324},
year = {2023}
}
备注
12 pages, 5 figures, 6 tables; accepted for publication in IEEE-ACM TASLP