稀疏数据生成中的扩散模型零点跳过技术
机器学习
2026-05-27 v2
摘要
扩散模型（DMs）在稠密连续数据上表现优异，但并非为稀疏连续数据而设计。它们未能建模表示信号缺失的精确零值，结果会消除稀疏性模式并在主要为零的条目上进行不必要的计算。通过稀疏性利用扩散（Sparsity-Exploiting Diffusion, SED），我们仅建模非零值，从而保留稀疏性。SED在跳过训练和推理中的零值方面实现了计算节省，同时保持或提升生成质量。跨物理和生物学基准测试，SED匹配或超越常规DMs和领域特定基线；而在视觉实验中，则提供了对稠密DMs局限性以及SED优势的直观见解。
引用
@article{arxiv.2605.01817,
title = {Skipping the Zeros in Diffusion Models for Sparse Data Generation},
author = {Phil Sidney Ostheimer and Mayank Nagda and Andriy Balinskyy and Gabriel Vicente Rodrigues and Jean Radig and Carl Herrmann and Stephan Mandt and Marius Kloft and Sophie Fellenz},
journal= {arXiv preprint arXiv:2605.01817},
year = {2026}
}
备注
Accepted to ICML 2026