流形假设下多尺度朗之万动力学的快速混合
机器学习
2020-06-24 v2 机器学习
摘要
近来，图像生成任务引起了广泛关注。特别是，朗之万动力学（Langevin Dynamics）这一马尔可夫链蒙特卡洛（MCMC）技术近期的经验成功促使了若干理论进展；尽管如此，若干悬而未决的问题依然存在。首先，朗之万动力学在非常高维的非凸地形上运行；在最坏情况下，由于非凸优化的 NP 困难性，认为朗之万动力学仅能在维度指数级的时间内混合。在这项工作中，我们展示了流形假设如何使混合时间大幅缩短，从环境维度的指数级降低到仅依赖于数据的（小得多的）内在维度。其次，采样空间的高维显著损害了朗之万动力学的性能；我们利用多尺度方法来帮助缓解该问题，并观察到这种多分辨率算法在生成中实现了图像质量与计算开销之间的权衡。
引用
@article{arxiv.2006.11166,
title = {Fast Mixing of Multi-Scale Langevin Dynamics under the Manifold Hypothesis},
author = {Adam Block and Youssef Mroueh and Alexander Rakhlin and Jerret Ross},
journal= {arXiv preprint arXiv:2006.11166},
year = {2020}
}