CLN-VC：基于细粒度风格控制与负样本增强对比学习的无文本语音转换
声音
2023-11-16 v1 音频与语音处理
摘要
更好地解耦语音表征对于提升语音转换质量至关重要。近年来，基于说话人标签的对比学习已成功应用于语音转换。然而，在相似说话人之间进行转换时，模型性能会下降。因此，我们提出一种增强的负样本选择方法来解决该问题。具体而言，我们基于所提出的说话人融合模块构造困难负样本，以提升说话人编码器的学习能力。此外，考虑到对说话人风格的细粒度建模，我们采用参考编码器提取细粒度风格，并在全局风格上执行增强的对比学习。实验结果表明，所提方法在语音转换任务上优于以往工作。
引用
@article{arxiv.2311.08670,
title = {CLN-VC: Text-Free Voice Conversion Based on Fine-Grained Style Control and Contrastive Learning with Negative Samples Augmentation},
author = {Yimin Deng and Xulong Zhang and Jianzong Wang and Ning Cheng and Jing Xiao},
journal= {arXiv preprint arXiv:2311.08670},
year = {2023}
}
备注
Accepted by the 21st IEEE International Symposium on Parallel and Distributed Processing with Applications (IEEE ISPA 2023)