语音“克隆”其实是风格迁移
声音
2026-05-28 v3 人工智能
人机交互
机器学习
摘要
人工生成的语音日益嵌入日常生活中。语音克隆特别适用于身份保留重要的应用, 如完成录音、为新语言配音或保留有语音损失者的声音。然而, 在本工作中, 我们发现尽管得名, 语音克隆并未忠实地“克隆”个体的语音。相反, 我们发现广泛使用的语音克隆模型系统性地对源语音进行风格迁移。根据人类标注员的评分, 克隆语音被感知为比源语音更具权威性、温暖、像客户服务人员且更符合人类特征。人类标注员还报告称, 他们对克隆语音的信任程度高于源语音, 以及更愿意向其披露敏感个人信息。我们的工作进一步表明, 语音克隆导致说话人特征的同质化, 如通过声音 Accent、说话速度和音频嵌入空间中的方差的减少来衡量。总而言之, 我们的结果揭示了语音克隆技术的一组新的局限性和风险, 以及其对人类行为的潜在影响。
引用
@article{arxiv.2605.16578,
title = {Voice "Cloning" is Style Transfer},
author = {Kaitlyn Zhou and Federico Bianchi and Martijn Bartelds and Anna Pot and Yongchan Kwon and James Zou},
journal= {arXiv preprint arXiv:2605.16578},
year = {2026}
}