数据热身：高效扩散模型训练的复杂度感知课程策略
机器学习
2026-04-10 v1 人工智能
摘要
扩散训练中的一个关键效率问题在于：随机初始化的网络缺乏视觉先验，却要处理来自完整复杂度谱系的梯度——其中大多数梯度都超出其处理能力。我们提出数据热身（Data Warmup），一种不修改模型或损失函数的课程策略，通过从简单到复杂安排训练图像。每张图像由语义感知的复杂度指标在离线方式评分，该指标结合前景支配度（明显物体占据图像比例）和前景典型性（明显内容与已学习视觉原型的接近程度）。随后，温度控制的抽样器优先选择早期低复杂度图像，并逐渐退火至均匀抽样。在 ImageNet 256x256 上使用 SiT backbone（S/2 到 XL/2）进行实验，数据热身在 IS 提升最高可达 6.11，FID 提升最高可达 3.41，基准质量提前数万次迭代即可达成。颠倒课程（先暴露难图像）会导致性能低于均匀基准，确认简单到复杂的排序本身驱动了收益。该方法可与正交加速器（如 REPA）结合使用，且仅需约 10 分钟的一次性预处理，无需每次迭代开销。
引用
@article{arxiv.2604.07397,
title = {Data Warmup: Complexity-Aware Curricula for Efficient Diffusion Training},
author = {Jinhong Lin and Pan Wang and Zitong Zhan and Lin Zhang and Pedro Morgado},
journal= {arXiv preprint arXiv:2604.07397},
year = {2026}
}
备注
CVPRW in the proceedings of CVPR 2026