噪声一致性训练：面向一段生成器学习额外控制的原生方法
机器学习
2025-06-25 v1 计算机视觉与模式识别
机器学习
摘要
高质量内容生成的高效可控性仍是人工智能生成内容（AIGC）中的核心挑战。虽然一段生成器通过扩散蒸馏技术实现了卓越的生成质量和计算效率，但将其适应新的控制条件——如结构约束、语义指南或外部输入——仍面临显著挑战。传统方法通常需要对基础模型进行计算密集的修改并进行后续扩散蒸馏。本文引入噪声一致性训练（Noise Consistency Training, NCT），一种 Novel 的轻量级方法，直接将新的控制信号集成到预训练的一段生成器中，而无需访问原始训练图像或重新训练基础扩散模型。NCT 通过引入适配器模块并在生成器的噪声空间中采用噪声一致性损失来实现这一目标。该损失在噪声一致性较强的噪声之间，对准适配后模型的生成行为，从而隐式引导其遵循新的控制。理论上，该训练目标可理解为最小化适配后生成器与新条件所诱导的条件分布之间的分布距离。NCT 模块化、数据高效且易于部署，仅依赖预训练的一段生成器和控制信号模型。广泛的实验表明，NCT 在单次前向传播中实现了在可控生成方面的最新性能，凌驾于现有多步骤和蒸馏-based 方法在生成质量和计算效率方面的表现。代码已公开 https://github.com/Luo-Yihong/NCT
引用
@article{arxiv.2506.19741,
title = {Noise Consistency Training: A Native Approach for One-Step Generator in Learning Additional Controls},
author = {Yihong Luo and Shuchen Xue and Tianyang Hu and Jing Tang},
journal= {arXiv preprint arXiv:2506.19741},
year = {2025}
}