深度特征 CycleGAN：用于说话人验证的保持说话人身份的非平行麦克风-电话域自适应
音频与语音处理
2021-04-06 v1
摘要
随着来自不同域的语音可用性的增加，利用此类域外数据来改进现有语音系统变得必要。域自适应是实现此目的的重要预处理方法。我们研究将其用于使麦克风语音自适应到电话域。具体而言，我们探索基于 CycleGAN 的非配对翻译麦克风数据，以改进用于电话说话人验证的 x-vector/说话人嵌入网络。我们首先在真实挑战性数据上证明其有效性，随后为进一步改进，修改 CycleGAN 公式使自适应任务特定化。我们修改 CycleGAN 的身份损失、循环一致性损失与对抗损失，使其在深度特征空间中运作。信号的深度特征从辅助（说话人嵌入）网络提取，从而保持说话人身份。我们基于 3D 卷积的深度特征判别器（DFD）在等错误率上显示出 5-10% 的相对提升。为深入探究，我们研究了（自适应后的）麦克风与电话数据结合数据增强与电话编解码器的困难池化场景。最后，我们强调了 CycleGAN 超参数的敏感性，并引入称为自适应概率的参数。
引用
@article{arxiv.2104.01433,
title = {Deep Feature CycleGANs: Speaker Identity Preserving Non-parallel Microphone-Telephone Domain Adaptation for Speaker Verification},
author = {Saurabh Kataria and Jesús Villalba and Piotr Żelasko and Laureano Moro-Velázquez and Najim Dehak},
journal= {arXiv preprint arXiv:2104.01433},
year = {2021}
}