用于学习基于能量的潜变量模型的双层得分匹配
机器学习
2020-10-19 v2
摘要
得分匹配（SM）通过避免配分函数的计算，为学习基于能量的模型（EBM）提供了一种引人注目的方法。然而，除某些特殊情况外，学习基于能量的潜变量模型（EBLVM）在很大程度上仍是开放问题。本文提出一种双层得分匹配（BiSM）方法，通过将 SM 重新表述为双层优化问题，来学习具有一般结构的 EBLVM。高层引入潜变量的变分后验并优化一个修正的 SM 目标，低层优化变分后验以拟合真实后验。为高效求解 BiSM，我们开发了一种带梯度展开的随机优化算法。理论上，我们分析了 BiSM 的一致性与该随机算法的收敛性。在实验上，我们展示了 BiSM 在高斯受限玻尔兹曼机以及由深度卷积神经网络参数化的高度非结构 EBLVM 中的潜力。在适用时，BiSM 与广泛采用的对比散度及 SM 方法相当；并且能学习具有难解后验的复杂 EBLVM 以生成自然图像。
引用
@article{arxiv.2010.07856,
title = {Bi-level Score Matching for Learning Energy-based Latent Variable Models},
author = {Fan Bao and Chongxuan Li and Kun Xu and Hang Su and Jun Zhu and Bo Zhang},
journal= {arXiv preprint arXiv:2010.07856},
year = {2020}
}