FreeU：扩散 U-Net 中的免费午餐
计算机视觉与模式识别
2023-10-19 v2
摘要
在本文中，我们揭示了扩散 U-Net 未被发掘的潜力，它作为一种“免费午餐”，能够即时大幅提升生成质量。我们初步探究了 U-Net 架构对去噪过程的关键贡献，并识别出其主骨干网络主要致力于去噪，而其跳跃连接主要将高频特征引入解码器模块，导致网络忽略骨干语义。基于这一发现，我们提出了一种简单而有效的方法——称为“FreeU”——无需额外训练或微调即可提升生成质量。我们的核心见解是有策略地重新加权来自 U-Net 跳跃连接和骨干特征图的贡献，以利用 U-Net 架构两个组件的优势。在图像和视频生成任务上的 promising 结果表明，我们的 FreeU 可以轻松集成到现有扩散模型中，例如 Stable Diffusion、DreamBooth、ModelScope、Rerender 和 ReVersion，仅用几行代码即可改善生成质量。您所需做的只是在推理过程中调整两个缩放因子。项目页面：https://chenyangsi.top/FreeU/。
引用
@article{arxiv.2309.11497,
title = {FreeU: Free Lunch in Diffusion U-Net},
author = {Chenyang Si and Ziqi Huang and Yuming Jiang and Ziwei Liu},
journal= {arXiv preprint arXiv:2309.11497},
year = {2023}
}
备注
Method update: we proposed structure-based scaling to enhance the performance of FreeU. Project page: https://chenyangsi.top/FreeU/