基于 Stein 型偏差的高效 stationary diffusion 学习
计算与语言
2026-01-26 v1 人工智能
摘要
学习 stationary diffusion相当于估计其 stationary 分布匹配目标分布的随机微分方程参数。我们基于最近引入的 kernel deviation from stationarity（KDS），该方法通过评估扩散生成器在再生产核希尔伯特空间中的期望来强制实现 stationary。利用 KDS 与 Stein 偏差之间的联系，我们引入 Stein-type KDS（SKDS）作为另一种表述形式。我们证明了 vanishing SKDS 保证学习的扩散 stationary 分布与目标一致。此外，在广泛的参数化下，SKDS 为凸函数，其经验版本以高概率为 准凸。经验上，使用 SKDS 的学习在准确性上与 KDS 相当，同时大幅降低了计算成本，并在大多数竞争基线上取得改进。
引用
@article{arxiv.2601.16596,
title = {Attention-MoA: Enhancing Mixture-of-Agents via Inter-Agent Semantic Attention and Deep Residual Synthesis},
author = {Jianyu Wen and Yang Wei and Xiongxi Yu and Changxuan Xiao and Ke Zeng},
journal= {arXiv preprint arXiv:2601.16596},
year = {2026}
}