基于SignReLU网络的比率型函数逼近：为扩散模型提供理论理解
机器学习
2026-01-30 v1 人工智能
摘要
受条件生成建模中挑战的启发，目标条件密度常取形式 f1 除以 f2 的比率。本文构建了一个用于逼近此类比率型函数的理论框架。其中，f1 和 f2 是核函数构建的边际密度，捕获结构化相互作用，这一设定是扩散生成模型的核心。我们提供了一种简洁的证明，说明如何使用带SignReLU激活函数的深度神经网络来逼近这些比率型函数，利用该激活函数的分段结构。在标准正则性假设下，我们建立了 L^p(Omega) 逼近误差界和收敛速率。专门针对去噪扩散概率模型（DDPM），我们构建了一个基于SignReLU的神经估计器，用于逆过程，并推导出生成分布与真实数据分布之间多余KL风险的界。我们的分析将该剩余风险分解为逼近误差和估计误差两个组成部分。这些结果为扩散生成模型的有限样本训练提供了泛化保证。
关键词
引用
@article{arxiv.2601.21242,
title = {Understanding Diffusion Models via Ratio-Based Function Approximation with SignReLU Networks},
author = {Luwei Sun and Dongrui Shen and Jianfe Li and Yulong Zhao and Han Feng},
journal= {arXiv preprint arXiv:2601.21242},
year = {2026}
}
备注
34 pages