解构去噪扩散模型用于自监督学习
计算机视觉与模式识别
2024-01-26 v1 机器学习
摘要
在本研究中，我们考察了最初用于图像生成的去噪扩散模型（Denoising Diffusion Models, DDM）的表征学习能力。我们的理念是解构一个DDM，逐步将其转变为一个经典的去噪自编码器（Denoising Autoencoder, DAE）。这一解构过程使我们能够探索现代DDM的各个组件如何影响自监督表征学习。我们观察到，只有极少数现代组件对于学习良好的表征至关重要，而许多其他组件则并非必需。我们的研究最终得出了一种高度简化且在很大程度上类似于经典DAE的方法。我们希望我们的研究能在现代自监督学习领域重新点燃对一系列经典方法的兴趣。
引用
@article{arxiv.2401.14404,
title = {Deconstructing Denoising Diffusion Models for Self-Supervised Learning},
author = {Xinlei Chen and Zhuang Liu and Saining Xie and Kaiming He},
journal= {arXiv preprint arXiv:2401.14404},
year = {2024}
}
备注
Technical report, 10 pages