高效访问扩散 Fisher 信息：在外积张成空间内
机器学习
2025-05-30 v1
摘要
近期扩散模型（DMs）的进展探索了将二阶扩散 Fisher 信息（DF）（定义为对数密度的负 Hessian 矩阵）纳入各种下游任务和理论分析中。然而，目前的做法通常通过对学习的 score network 应用自动微分来近似扩散 Fisher 信息。这种黑盒方法虽然简单，但缺乏任何精度保证且耗时。在本文中，我们证明扩散 Fisher 信息实际上位于由 score 和初始数据的外积张成的空间内。基于这种外积结构，我们开发了两种高效的近似算法，分别用于访问 DF 的迹和矩阵-向量乘法。这些算法通过时间高效的向量积计算绕过了自动微分操作。此外，我们为所提出的算法建立了近似误差界限。在似然评估和伴随优化中的实验证明了我们提出的算法具有卓越的精度并降低了计算成本。另外，基于 DF 新颖的外积公式，我们为一般 PF-ODE 推导映射的最优传输属性设计了首个数值验证实验。
引用
@article{arxiv.2505.23264,
title = {Efficiently Access Diffusion Fisher: Within the Outer Product Span Space},
author = {Fangyikang Wang and Hubery Yin and Shaobin Zhuang and Huminhao Zhu and Yinan Li and Lei Qian and Chao Zhang and Hanbin Zhao and Hui Qian and Chen Li},
journal= {arXiv preprint arXiv:2505.23264},
year = {2025}
}