MOSNet: 基于深度学习的语音转换客观评估
声音
2022-03-01 v3 机器学习
音频与语音处理
摘要
现有的语音转换（VC）客观评价指标并非总与人类感知相关。因此，以此类准则训练VC模型可能无法有效提升转换语音的自然度与相似度。本文中，我们提出基于深度学习的评估模型以预测转换语音的人类评分。我们采用卷积与循环神经网络模型构建平均意见得分（MOS）预测器，称为MOSNet。所提模型在Voice Conversion Challenge（VCC）2018的大规模听测结果上测试。实验结果表明，所提MOSNet的预测分数在系统层面与人类MOS评分高度相关，而在语句层面与人类MOS评分有合理相关。同时，我们改进了MOSNet以预测相似度分数，初步结果显示预测分数也与人类评分有合理相关。这些结果证实了所提模型可作为计算评估器来衡量VC系统的MOS，从而减少昂贵人类评分的需求。
引用
@article{arxiv.1904.08352,
title = {MOSNet: Deep Learning based Objective Assessment for Voice Conversion},
author = {Chen-Chou Lo and Szu-Wei Fu and Wen-Chin Huang and Xin Wang and Junichi Yamagishi and Yu Tsao and Hsin-Min Wang},
journal= {arXiv preprint arXiv:1904.08352},
year = {2022}
}
备注
Accepted to Interspeech2019