超出加速的记分蒸馏：从受损数据生成模型
机器学习
2026-03-19 v2
摘要
从受损观测数据直接学习生成模型是自然科学和科学领域长期以来的挑战。我们引入修复记分蒸馏 (Restoration Score Distillation, RSD)，一个统一框架，用于仅使用退化数据和映射 （可为恒等式或不可逆损坏算子，如模糊、遮盖、亚采样、傅里叶获取）学习高保真度单步生成模型。RSD 首先在观测测量上预训练一个感知退化的扩散教师，然后将其蒸馏到高效单步生成器，其样本与干净分布 更接近。该框架将恒等式退化（去噪任务）作为本通用公式的特例。实验上，RSD 在噪声生成 (CIFAR 10, FFHQ, CelebA HQ, AFHQ v2)、图像修复 (高斯去模糊、随机遮盖、超分辨率及与加性噪声的混合) 以及多导管 MRI 中均显著降低了 FID 分数，无需任何干净图像。蒸馏生成器继承单步采样效率，训练迭代次数大幅减少即可超越教师，采样速度提升最高可达 30 倍。这些结果表明，记分蒸馏不仅是加速工具，更是受损数据生成建模的实用方法。我们在附录中提供理论支持，论证蒸馏在提升生成质量方面的作用。
引用
@article{arxiv.2505.13377,
title = {Score Distillation Beyond Acceleration: Generative Modeling from Corrupted Data},
author = {Yasi Zhang and Tianyu Chen and Zhendong Wang and Ying Nian Wu and Mingyuan Zhou and Oscar Leong},
journal= {arXiv preprint arXiv:2505.13377},
year = {2026}
}
备注
This paper merges DSD(Denoising Score Distillation) and RSD(Restoration Score Distillation)v1. Tianyu Chen and Yasi Zhang contributed equally; Oscar Leong and Mingyuan Zhou advised equally