SongBsAb：一种针对基于歌声转换的非法歌曲翻唱的双重预防方法
声音
2024-12-03 v2 人工智能
密码学与安全
机器学习
多媒体
音频与语音处理
摘要
歌声转换（SVC）通过将源歌手的源歌声转换为具有与源相同歌词和旋律，但听起来像是由给定目标歌声的某位目标歌手翻唱的新歌声，从而实现自动化歌曲翻唱。然而，这引发了关于版权和公民权利侵犯的严重担忧。我们提出了 SongBsAb，这是第一种主动应对基于 SVC 的非法歌曲翻唱的方法。SongBsAb 在发布歌声之前向其添加扰动，这样当它们被使用时，SVC 的过程将受到干扰，从而产生意料之外的歌声。扰动经过精心设计，以（1）提供双重预防，即通过分别提出性别转换损失和高/低层次多目标损失，防止歌声被用作 SVC 中的源歌声和目标歌声；（2）无害，即通过使用伴奏作为额外掩蔽音（与普通语音相比，这是歌声独有的伴随元素）来优化基于心理声学模型的损失，从而对受保护歌曲的欣赏没有副作用。我们还采用了基于帧级交互减少的损失和编码器集成来增强 SongBsAb 对未知 SVC 模型的可迁移性。我们使用英文和中文数据集，以及客观和基于人类研究的主观指标，在五个多样且有前景的 SVC 模型上展示了 SongBsAb 的预防有效性、无害性和鲁棒性。我们的工作为减轻非法自动化歌曲翻唱培育了一个新兴的研究方向。
引用
@article{arxiv.2401.17133,
title = {SongBsAb: A Dual Prevention Approach against Singing Voice Conversion based Illegal Song Covers},
author = {Guangke Chen and Yedi Zhang and Fu Song and Ting Wang and Xiaoning Du and Yang Liu},
journal= {arXiv preprint arXiv:2401.17133},
year = {2024}
}
备注
In Proceedings of the 32nd Network and Distributed System Security (NDSS) Symposium 2025