NoiseRater: 面向扩散模型训练的元学习噪声估值
机器学习
2026-05-12 v1 人工智能
计算机视觉与模式识别
摘要
扩散模型在广泛的生成任务中取得了显著成功，然而其训练范式在很大程度上将注入的噪声视为均匀信息。在这项工作中，我们挑战了这一假设，并引入了NoiseRater，一个用于扩散模型训练中实例级噪声估值的元学习框架。我们提出了一种参数化的噪声评分器，它根据数据和时间步长为单个噪声实现分配重要性分数，从而实现对训练目标的自适应重加权。该评分器通过双层优化进行训练，以改善内循环扩散更新后的下游验证性能。为了实现高效部署，我们进一步设计了一个解耦的两阶段流程，从元训练期间的软加权过渡到标准训练期间的硬噪声选择。在FFHQ和ImageNet上的大量实验表明，并非所有噪声样本的贡献都相同，优先考虑信息丰富的噪声可以提高训练效率和生成质量。我们的结果确立了噪声估值是改进扩散模型训练的一个互补且之前未被充分探索的维度。我们的代码可在以下地址获取：https://anonymous.4open.science/r/NoiseRater-DEB116。
引用
@article{arxiv.2605.08144,
title = {NoiseRater: Meta-Learned Noise Valuation for Diffusion Model Training},
author = {Fang Wu and Haokai Zhao and Da Xing and Hanqun Cao and Tinson Xu and Yanchao Li and Xiangru Tang and Zehong Wang and Aaron Tu and Kuan Pang and Hanchen Wang and Hongbin Lin and Zeqi Zhou and Yinxi Li and Peng Xia and Li Erran Li and Molei Tao and Jure Leskovec and Aditya Joshi and Yejin Choi},
journal= {arXiv preprint arXiv:2605.08144},
year = {2026}
}