专家数据对齐决定去中心化扩散模型中的生成质量
机器学习
2026-03-12 v2
摘要
去中心化扩散模型（DDMs）通过在数据聚类上独立训练的专家之间路由去噪，这些专家在预测上可能强烈不一致。什么主导此类系统中生成质量？我们present首个系统性调查。先验地，人们期望最小化去噪轨迹敏感性——即扰动在采样期间如何放大——应主导生成质量。我们证明了这一假设是错误的：稳定性与质量之间存在dissociation。完全ensemble路由在每一步组合所有专家预测，实现最稳定的采样动力学和最佳数值收敛，同时产生最差的生成质量（FID 47.9 vs. 22.6用于稀疏Top-2路由）。相反，我们确定专家数据对齐是主导原则：生成质量取决于将输入路由到训练分布覆盖当前去噪状态的专家。在两个不同的DDM系统中，我们使用(i)数据聚类距离分析验证稀疏路由选择与当前去噪状态最近的数据聚类的专家，(ii)按专家分析，显示所选专家比非所选专家产生更准确的预测，(iii)专家不一致分析，显示当专家不一致时质量会下降。对于DDM部署，我们的发现确立了路由应优先考虑专家数据对齐而非数值稳定性指标。
引用
@article{arxiv.2602.02685,
title = {Expert-Data Alignment Governs Generation Quality in Decentralized Diffusion Models},
author = {Marcos Villagra and Bidhan Roy and Raihan Seraj and Zhiying Jiang},
journal= {arXiv preprint arXiv:2602.02685},
year = {2026}
}
备注
15 pages, 4 figures. DeLTa@ICLR2026 and Sci4DL@ICLR2026