Malliavin 积分-by-parts 公式视角下的随机反向传播
机器学习
2026-02-20 v1
摘要
我们通过展示路径法（置换模型）与得分函数（Malliavin）梯度估计器均源于 Malliavin 积分换位公式，建立了两者之间的严格联系。基于此等价性，我们引入一种统一且具有方差感知能力的混合估计器，通过其经验协方差结构自适应地组合路径梯度与 Malliavin 梯度。 resulting 形式为随机反向传播提供了原则性理解，并在所有无偏线性组合中实现最小方差，同时给出闭形式有限样本收敛界。我们在 VAE（CIFAR-10）上实现 9% 的方差缩减，在强耦合合成问题上实现最高 35% 的缩减。探索性强化学习实验表明，非平稳优化景观对混合方法构成挑战，揭示了未来工作的重要方向。总体而言，本工作将 Malliavin 微积分定位为随机梯度估计的概念统一且实用可解释的框架，阐明了混合方法何时能够提供实际收益以及何时面临固有限制。
引用
@article{arxiv.2602.17013,
title = {Malliavin Calculus as Stochastic Backpropogation},
author = {Kevin D. Oden},
journal= {arXiv preprint arXiv:2602.17013},
year = {2026}
}