Catch You and I Can：针对语音转换揭示源说话人声纹
声音
2023-02-27 v1 人工智能
音频与语音处理
摘要
语音转换（VC）技术可能被恶意方滥用，将其音频转换为听起来像目标说话人，使人或说话人验证/识别系统难以追溯源说话人。本文首次尝试以高可信度从语音转换方法合成的音频中恢复源说话人声纹。然而，从转换音频中揭示源说话人特征具有挑战性，因为语音转换操作旨在解耦原始特征并注入目标说话人特征。为实现目标，我们开发了 Revelio——一个表示学习模型，其学习从转换音频样本中有效提取源说话人声纹。我们为 Revelio 配备精心设计的差分校正算法，通过移除平行于目标说话人声纹的表示分量来消除目标说话人的影响。我们进行了大量实验评估 Revelio 从 VQVC、VQVC+、AGAIN 与 BNE 转换的音频中恢复声纹的能力。实验验证 Revelio 能够重建可被说话人验证与识别系统追溯至源说话人的声纹。Revelio 在跨性别转换、未见语言与电话网络下也展现出鲁棒性能。
引用
@article{arxiv.2302.12434,
title = {Catch You and I Can: Revealing Source Voiceprint Against Voice Conversion},
author = {Jiangyi Deng and Yanjiao Chen and Yinan Zhong and Qianhao Miao and Xueluan Gong and Wenyuan Xu},
journal= {arXiv preprint arXiv:2302.12434},
year = {2023}
}
备注
Accepted by USENIX Security Symposium 2023. Please cite this paper as "Jiangyi Deng, Yanjiao Chen, Yinan Zhong, Qianhao Miao, Xueluan Gong, Wenyuan Xu. Catch You and I Can: Revealing Source Voiceprint Against Voice Conversion. In 32nd USENIX Security Symposium (USENIX Security 23)."