使用调度伪 Huber 损失提升扩散模型的数据抗破坏能力

已知扩散模型容易受到训练数据中异常值的影响。在本文中，我们研究了一种替代的扩散损失函数，它能够像原始的平方 $L_{2}$ 损失一样保持生成数据的高质量，同时对异常值具有鲁棒性。我们提议使用带有时间相关参数的伪 Huber 损失函数，以在最容易受影响的早期逆扩散步骤的鲁棒性与最终步骤的精细细节恢复之间进行权衡。我们表明，带有时间相关参数的伪 Huber 损失在图像和音频领域的破坏数据集上均表现出更好的性能。此外，与常规训练算法相比，我们提出的损失函数无需数据过滤或清洗，即可潜在地帮助扩散模型抵抗数据集破坏。