将度量函数引入扩散模型
计算机视觉与模式识别
2024-01-05 v1
摘要
我们介绍了一种级联扩散模型（Cas-DM），它通过在训练中有效融入额外的度量函数来改进去噪扩散概率模型（DDPM）。度量函数（如LPIPS损失）已被证明在源自分数匹配的一致性模型中非常有效。然而，对于扩散对应模型，添加额外度量函数的方法和有效性仍不清楚。一个主要挑战是DDPM每一步预测的噪声与度量函数良好工作的期望干净图像之间的不匹配。为了解决这个问题，我们提出了Cas-DM，一种级联两个网络模块的网络架构，以有效地将度量函数应用于扩散模型训练。第一个模块类似于标准DDPM，学习预测添加的噪声，不受度量函数影响。第二个级联模块学习预测干净图像，从而便于度量函数计算。实验结果表明，所提出的扩散模型骨干网络能够有效使用LPIPS损失，在各种既定基准上实现了最先进的图像质量（FID、sFID、IS）。
引用
@article{arxiv.2401.02414,
title = {Bring Metric Functions into Diffusion Models},
author = {Jie An and Zhengyuan Yang and Jianfeng Wang and Linjie Li and Zicheng Liu and Lijuan Wang and Jiebo Luo},
journal= {arXiv preprint arXiv:2401.02414},
year = {2024}
}