中文

B-DENSE:基于分支的稠密集成网络监督效率

机器学习 2026-03-11 v2 人工智能 计算机视觉与模式识别 神经与进化计算

摘要

受非平衡热力学启发,扩散模型在生成式建模中取得了最新性能。然而,其迭代采样过程导致高推理延迟。虽然最近的蒸馏技术加速了采样,但它们丢弃了中间轨迹步骤。这种稀疏监督导致结构信息丢失并引入显著离散化误差。为缓解此问题,我们提出 B-DENSE,一种利用多分支轨迹对齐的新框架。我们修改学生模型架构,输出 KK 折扩展的通道,其中每个子集对应于表示教师轨迹特定离散中间步骤的分支。通过训练这些分支同时映射到教师目标时间步的整个序列,我们强制稠密中间轨迹对齐。因此,学生模型在训练的最早阶段学习如何导航解空间,展示出优于基线蒸馏框架的优异图像生成质量。

关键词

引用

@article{arxiv.2602.15971,
  title  = {B-DENSE: Branching For Dense Ensemble Network Supervision Efficiency},
  author = {Cherish Puniani and Tushar Kumar and Arnav Bendre and Gaurav Kumar and Shree Singhi},
  journal= {arXiv preprint arXiv:2602.15971},
  year   = {2026}
}

备注

11 pages, 5 figures, 4 algorithms and 2 tables. ICLR DeLTa 2026