生成模型中的最优随机迹估计
机器学习
2025-02-27 v1 机器学习
摘要
Hutchinson估计器在训练基于散度的似然函数以实现最优传输（OT）属性时广泛应用，但该估计器常因方差高和可扩展性问题而受限。为此，我们研究Hutch++——一种为生成模型设计的最优随机迹估计器，以最小化训练方差同时保持传输最优性。Hutch++特别适用于处理条件数较大的病态矩阵，这类矩阵在高维数据呈低维结构时常见。为缓解频繁且昂贵的QR分解需求，我们提出了实用方案，在频率与精度之间进行权衡，并具备理论保证。我们的分析表明，Hutch++可生成更高质量的样本。此外，该方法在 various 应用中展现出有效的方差缩减，包括模拟、条件时间序列预测和图像生成。
引用
@article{arxiv.2502.18808,
title = {Optimal Stochastic Trace Estimation in Generative Modeling},
author = {Xinyang Liu and Hengrong Du and Wei Deng and Ruqi Zhang},
journal= {arXiv preprint arXiv:2502.18808},
year = {2025}
}
备注
Accepted by AISTATS 2025