利用唇部图像进行基于帧的电喉语音转换的时间对齐

语音转换（VC）是一种有效的电喉（EL）语音增强方法，该任务旨在改善来自电喉设备的人工语音质量。在基于帧的 VC 方法中，时间对齐需在模型训练前完成，动态时间规整（DTW）算法被广泛用于计算每对语句之间的最佳时间对齐。其有效性基于如下假设：说话人的相同音素具有相似特征，并可通过度量源与目标语音帧间预定义距离来映射。然而，EL 语音的特殊性会破坏该假设，导致次优的 DTW 对齐。在本工作中，我们提出使用唇部图像进行时间对齐，因为我们假设喉切除者的唇部运动相较于健康人保持正常。我们考察了两种朴素的唇部表示与距离度量，实验结果表明所提方法在客观与主观评价上均显著优于仅音频对齐。