基于 GSURE 的 corrupted data 扩散模型训练

Bahjat Kawar; Noam Elata; Tomer Michaeli; Michael Elad

基于 GSURE 的 corrupted data 扩散模型训练

图像与视频处理 2024-06-17 v2 计算机视觉与模式识别机器学习

作者: Bahjat Kawar , Noam Elata , Tomer Michaeli , Michael Elad

摘要

扩散模型在数据生成及逆问题、基于文本的编辑、分类等下游任务中已展现出令人印象深刻的成果。然而，训练此类模型通常需要大量干净信号，而这些信号往往难以或无法获取。本工作中，我们提出一种仅基于 corrupted data 的生成式扩散模型训练新技术。我们引入基于广义 Stein 无偏风险估计器(GSURE)的损失函数，并证明在某些条件下，其与全监督扩散模型所用的训练目标等价。我们在人脸图像及磁共振成像(MRI)上演示了该技术，其中欠采样数据的使用显著降低了数据收集成本。我们的方法在未使用任何干净信号训练的情况下，取得了与全监督对应方法相当的 generative 性能。此外，我们将所得扩散模型部署于训练集中退化之外的多种下游任务，展示了有前景的结果。

关键词

扩散模型损坏数据广义 Stein 无偏风险估计器磁共振成像无监督训练逆问题下游任务

引用

@article{arxiv.2305.13128,
  title  = {GSURE-Based Diffusion Model Training with Corrupted Data},
  author = {Bahjat Kawar and Noam Elata and Tomer Michaeli and Michael Elad},
  journal= {arXiv preprint arXiv:2305.13128},
  year   = {2024}
}

备注

Code: https://github.com/bahjat-kawar/gsure-diffusion

基于 GSURE 的 corrupted data 扩散模型训练

摘要

关键词

引用

备注

相关论文