重新审视分数蒸馏作为图像分布之间的桥梁
计算机视觉与模式识别
2024-12-12 v2 图形学
机器学习
摘要
分数蒸馏采样（SDS）已被证明是一个重要的工具，使得在数据匮乏领域的任务中能够利用大规模扩散先验。不幸的是，SDS存在许多特征性伪影，限制了其在通用应用中的实用性。在本文中，我们通过将SDS及其变体视为求解从源分布到目标分布的最优代价传输路径，在理解其行为方面取得了进展。在这种新解释下，这些方法旨在将损坏的图像（源）传输到自然图像分布（目标）。我们认为，当前方法的特征性伪影是由（1）最优路径的线性近似和（2）对源分布的不良估计引起的。我们表明，校准源分布的文本条件可以在几乎没有额外开销的情况下产生高质量的生成和翻译结果。我们的方法可以轻松应用于多个领域，其性能可与专门方法相媲美甚至超越。我们展示了其在文本到2D、基于文本的NeRF优化、将绘画翻译为真实图像、光学错觉生成以及3D草图到真实场景中的效用。我们将我们的方法与现有的分数蒸馏采样方法进行了比较，并表明它可以产生具有真实色彩的高频细节。
引用
@article{arxiv.2406.09417,
title = {Rethinking Score Distillation as a Bridge Between Image Distributions},
author = {David McAllister and Songwei Ge and Jia-Bin Huang and David W. Jacobs and Alexei A. Efros and Aleksander Holynski and Angjoo Kanazawa},
journal= {arXiv preprint arXiv:2406.09417},
year = {2024}
}
备注
NeurIPS 2024. Project webpage: https://sds-bridge.github.io/