利用对比损失改进多尺度特征的说话人表示
声音
2024-10-08 v1 音频与语音处理
摘要
随着多尺度特征聚合（MFA）架构（如 MFA-Conformer 和 ECAPA-TDNN）的引入，说话人验证系统取得了显著进展。这些模型通过在池化和投影层之前连接中间特征图，利用网络各层级的信息，表明即使较浅层的特征图也编码了有价值的说话人特定信息。基于此基础，我们提出一种多尺度特征对比（MFCon）损失，直接增强这些中间表示的质量。我们的 MFCon 损失将对比学习应用于网络中的所有特征图，鼓励模型在中间阶段自身学习更具辨识力的表示。通过改进特征图学习，我们展示， resulting speaker embeddings exhibit increased discriminative power。Our method achieves a 9.05% improvement in equal error rate (EER) compared to the standard MFA-Conformer on the VoxCeleb-1O test set。
引用
@article{arxiv.2410.05037,
title = {Improving Speaker Representations Using Contrastive Losses on Multi-scale Features},
author = {Satvik Dixit and Massa Baali and Rita Singh and Bhiksha Raj},
journal= {arXiv preprint arXiv:2410.05037},
year = {2024}
}