基于梯度引导重要性采样的二值能量基模型学习
机器学习
2023-02-28 v2 人工智能
摘要
学习能量基模型（EBMs）众所周知十分困难，尤其在离散数据上无法直接应用基于梯度的学习策略。尽管比率匹配是学习离散EBM的可靠方法，但它存在计算昂贵与内存需求过高的问题，从而导致难以在高维数据上学习EBM。受这些局限启发，本研究提出带梯度引导重要性采样的比率匹配（RMwGGIS）。具体地，我们利用能量函数对离散数据空间的梯度近似构造可证明最优的提议分布，随后由重要性采样使用该分布高效估计原始比率匹配目标。我们在合成离散数据上的密度建模、图生成及Ising模型训练中开展实验以评估所提方法。实验结果表明，我们的方法能显著缓解比率匹配的局限，在实践中更为有效，并可扩展至高维问题。我们的实现见 https://github.com/divelab/RMwGGIS。
引用
@article{arxiv.2210.05782,
title = {Gradient-Guided Importance Sampling for Learning Binary Energy-Based Models},
author = {Meng Liu and Haoran Liu and Shuiwang Ji},
journal= {arXiv preprint arXiv:2210.05782},
year = {2023}
}
备注
Accepted by ICLR 2023