利用再识别方法揭示视频扩散模型中的隐藏子空间

潜在视频扩散模型凭借其生成的图像质量和时间一致性，可以轻易欺骗普通观察者和领域专家。除了娱乐之外，这为敏感个人信息的全合成数据集的安全数据共享创造了机会，这在医疗保健领域以及其他依赖敏感个人信息的领域至关重要。然而，这种方法的隐私问题尚未得到充分解决，且针对特定下游任务在合成数据上训练的模型仍然不如在真实数据上训练的模型表现好。这种差异可能部分是由于采样空间是训练视频的子空间，有效减少了下游模型的训练数据量。此外，生成长视频时降低的时间一致性也可能是一个促成因素。在本文中，我们首先证明在潜在空间中训练隐私保护模型在计算上更高效且泛化能力更好。此外，为了研究下游性能退化因素，我们提出使用一种再识别模型，该模型此前曾被用作隐私保护滤波器。我们证明，仅需在视频生成器的潜在空间中训练该模型即可。随后，我们利用这些模型评估合成视频数据集所覆盖的子空间，从而引入了一种衡量生成式机器学习模型保真度的新方法。我们聚焦于医疗保健超声心动图中的一个特定应用来说明我们新方法的有效性。我们的结果表明，仅有最多 30.8% 的训练视频在潜在视频扩散模型中被学习到，这可能解释了在合成数据上训练下游任务时性能不足的原因。