中文

野生环境语音编辑的实例特定测试时训练

音频与语音处理 2025-11-04 v2 声音

摘要

语音编辑系统旨在自然地修改语音内容,同时保持声学一致性和说话人身份。然而,先前的研究通常难以适应未见过的多样化声学条件,导致真实场景中的编辑性能下降。为此,我们提出了一种用于野生环境语音编辑的实例特定测试时训练方法。我们的方法利用未编辑区域中来自真实声学特征的直接监督,以及通过基于时长约束和音素预测的辅助损失在编辑区域中进行间接监督。该策略缓解了语音编辑中的带宽不连续性问题,确保了未编辑区域与编辑区域之间的平滑声学过渡。此外,它通过测试时训练期间的掩码长度调整使模型适应目标时长,从而实现对语速的精确控制。在野生基准数据集上的实验表明,我们的方法在客观和主观评估中均优于现有的语音编辑系统。

关键词

引用

@article{arxiv.2506.13295,
  title  = {Instance-Specific Test-Time Training for Speech Editing in the Wild},
  author = {Taewoo Kim and Uijong Lee and Hayoung Park and Choongsang Cho and Nam In Park and Young Han Lee},
  journal= {arXiv preprint arXiv:2506.13295},
  year   = {2025}
}

备注

Accepted to NeurIPS 2025 Workshop on GenProCC