一种融合局部与全局特征增强的 Res2Net 用于说话人验证
音频与语音处理
2023-08-04 v2 声音
摘要
多尺度特征的有效融合对提升说话人验证性能至关重要。虽然大多数现有方法通过简单操作（如求和或拼接）以层间方式聚合多尺度特征。本文提出一种称为增强 Res2Net（ERes2Net）的新颖架构，其融合了局部与全局特征融合技术以提升性能。局部特征融合（LFF）在单个残差块内融合特征以提取局部信号。全局特征融合（GFF）以不同尺度的声学特征作为输入以聚合全局信号。为促进 LFF 和 GFF 中的有效特征融合，ERes2Net 架构中采用了注意力特征融合模块，取代求和或拼接操作。在 VoxCeleb 数据集上进行的一系列实验证明了 ERes2Net 在说话人验证中的优越性。代码已公开于 https://github.com/alibaba-damo-academy/3D-Speaker。
引用
@article{arxiv.2305.12838,
title = {An Enhanced Res2Net with Local and Global Feature Fusion for Speaker Verification},
author = {Yafeng Chen and Siqi Zheng and Hui Wang and Luyao Cheng and Qian Chen and Jiajun Qi},
journal= {arXiv preprint arXiv:2305.12838},
year = {2023}
}