B-DENSE:基于分支的稠密集成网络监督效率
机器学习
2026-03-11 v2 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
受非平衡热力学启发,扩散模型在生成式建模中取得了最新性能。然而,其迭代采样过程导致高推理延迟。虽然最近的蒸馏技术加速了采样,但它们丢弃了中间轨迹步骤。这种稀疏监督导致结构信息丢失并引入显著离散化误差。为缓解此问题,我们提出 B-DENSE,一种利用多分支轨迹对齐的新框架。我们修改学生模型架构,输出 折扩展的通道,其中每个子集对应于表示教师轨迹特定离散中间步骤的分支。通过训练这些分支同时映射到教师目标时间步的整个序列,我们强制稠密中间轨迹对齐。因此,学生模型在训练的最早阶段学习如何导航解空间,展示出优于基线蒸馏框架的优异图像生成质量。
引用
@article{arxiv.2602.15971,
title = {B-DENSE: Branching For Dense Ensemble Network Supervision Efficiency},
author = {Cherish Puniani and Tushar Kumar and Arnav Bendre and Gaurav Kumar and Shree Singhi},
journal= {arXiv preprint arXiv:2602.15971},
year = {2026}
}
备注
11 pages, 5 figures, 4 algorithms and 2 tables. ICLR DeLTa 2026