大型音频生成模型的成员推断与数据集推断攻击

基于扩散与自回归架构的生成式音频模型在质量与表达性方面取得了快速进展。然而，这种进展引发了迫切的版权问题，因为此类模型通常在庞大的艺术与商业作品语料上进行训练。一个核心问题是能否可靠地验证某艺术家的作品是否包含在训练集中，从而为版权持有者提供保护其内容的手段。本文通过对开源生成式音频模型进行成员推断攻击 (MIA)，探讨了验证特定音频样本是否属于训练集的可行性。我们的实证结果表明，单纯的成员推断在规模化应用中效果有限，因为大型且多样化数据集上训练的模型，其单样本成员信号较弱。然而，艺术家与媒体所有者通常持有作品集合而非孤立样本。基于文本与视觉领域的 prior work，本文聚焦数据集推断 (DI)，该方法跨多个样本汇聚多样化成员证据。我们发现 DI 在音频领域同样成功，为评估艺术家作品是否贡献于模型训练提供了更实用的机制。我们的结果表明，DI 是大型音频生成模型时代版权保护与数据集问责的有前景的方向。