学习可堆叠可跳过的LEGO砖块以实现高效、可重构、变分辨率的扩散建模
计算机视觉与模式识别
2025-09-16 v3 机器学习
机器学习
摘要
扩散模型擅长生成照片级真实图像，但在训练和采样上均带来显著计算成本。尽管多种技术应对这些计算挑战，一个较少被探索的问题是设计用于迭代优化的高效且可适应的网络骨干。U-Net和Vision Transformer等当前选项常依赖资源密集的深度网络，并缺乏以可变分辨率生成图像或使用比训练时更小网络所需的灵活性。本研究引入LEGO砖块，其无缝集成局部特征增强（Local-feature Enrichment）与全局内容编排（Global-content Orchestration）。这些砖块可堆叠以创建测试时可重构的扩散骨干，允许选择性跳过砖块以降低采样成本并生成比训练数据更高分辨率的图像。LEGO砖块用MLP丰富局部区域并用Transformer块变换它们，同时在所有砖块间保持一致的完整分辨率图像。实验结果表明，LEGO砖块提升训练效率、加速收敛，并在保持强劲生成性能的同时促进变分辨率图像生成。此外，LEGO相比其他方法显著减少采样时间，使其成为扩散模型的有价值增强。我们的代码与项目页见于 https://jegzheng.github.io/LEGODiffusion。
引用
@article{arxiv.2310.06389,
title = {Learning Stackable and Skippable LEGO Bricks for Efficient, Reconfigurable, and Variable-Resolution Diffusion Modeling},
author = {Huangjie Zheng and Zhendong Wang and Jianbo Yuan and Guanghan Ning and Pengcheng He and Quanzeng You and Hongxia Yang and Mingyuan Zhou},
journal= {arXiv preprint arXiv:2310.06389},
year = {2025}
}