LENS：用于高效扩散抽样的低频特征噪声调制

通过减少去噪步骤来加速图像生成的蒸馏扩散模型，常常会出现图像质量下降的问题。为缓解这一权衡，测试时优化方法可以提升质量，但其迭代性质导致巨大的计算开销，限制了实际应用中的推理速度。最近的超网络方法在训练期间对该过程进行 amortization，但仍需要在高维潜在空间中进行昂贵的噪声调制。在本工作中，我们提出了 LENS（Low-frequency Eigen Noise Shaping，即低频特征噪声调制），这是一种在低维子空间中进行高效噪声调制的框架。我们基于低频噪声分量主要决定生成图像的全局结构和视觉保真度这一观察，提出了该方法的理论依据，并推导了原则性的训练目标。基于此，LENS 使用轻量级、独立的网络对这些分量进行选择性调制，从而实现高效且有针对性的噪声调制。大量实验表明，与先前方法相比，LENS 在保持竞争图像质量的同时，将 FLOPs 降低了 400-700倍，模型参数降低了 25-75倍，推理时开销降低了 10-20倍。