基于正交 Householder 神经网络的说话人匿名化
声音
2023-09-14 v2 音频与语音处理
摘要
说话人匿名化旨在隐藏说话人身份的同时保留语音中的内容信息。当前主流的神经网络说话人匿名化系统将语音解耦为韵律相关、内容与说话人表征。随后，说话人表征由基于选择的说话人匿名器进行匿名化，该匿名器使用从外部英语说话人池中随机选取的一组说话人向量的均值向量。然而，由此生成的匿名化向量面临针对强大攻击者的严重隐私泄露、说话人多样性降低，以及未见语言说话人匿名化的语言不匹配问题。为生成多样化、语言中立的说话人向量，本文提出一种基于正交 Householder 神经网络（OHNN）的匿名器。具体而言，OHNN 起到类似旋转的作用，将原始说话人向量变换为匿名化说话人向量，并约束其遵循原始说话人向量空间上的分布。引入基础分类损失以确保不同说话人的匿名化说话人向量具有唯一说话人身份。为进一步保护说话人身份，采用改进的分类损失与相似度损失将原始-匿名化样本对彼此推远。在英语 VoicePrivacy Challenge 数据集和普通话 \textit{AISHELL-3} 数据集上的实验证明了所提匿名器的有效性。
引用
@article{arxiv.2305.18823,
title = {Speaker anonymization using orthogonal Householder neural network},
author = {Xiaoxiao Miao and Xin Wang and Erica Cooper and Junichi Yamagishi and Natalia Tomashenko},
journal= {arXiv preprint arXiv:2305.18823},
year = {2023}
}
备注
Accepted by IEEE/ACM Transactions on Audio, Speech, and Language Processing