通过Lovász局部引理采样学习组合结构的马尔可夫随机场
机器学习
2023-09-06 v4 人工智能
摘要
学习生成满足约束的复杂组合结构将对许多应用领域产生变革性影响。然而，由于所嵌入概率推断的极度难解性，这超出了现有方法的能力。先前工作将大部分训练时间用于学习区分有效与无效结构，却未学习有效结构的归纳偏置。我们提出神经Lovász采样器（Nelson），其将通过Lovász局部引理（LLL）的采样器嵌入为一个完全可微的神经网络层。我们的Nelson-CD将该采样器嵌入马尔可夫随机场的对比散度学习过程。Nelson使我们能从当前模型分布获得有效样本。随后应用对比散度将这些样本与训练集中的样本区分开。Nelson作为完全可微神经网络实现，利用了GPU的并行性。在多个真实领域上的实验结果表明，Nelson学会生成100%有效的结构，而基线方法要么超时要么无法确保有效性。Nelson在运行时间、对数似然和MAP分数上也优于其他方法。
引用
@article{arxiv.2212.00296,
title = {Learning Markov Random Fields for Combinatorial Structures via Sampling through Lov\'asz Local Lemma},
author = {Nan Jiang and Yi Gu and Yexiang Xue},
journal= {arXiv preprint arXiv:2212.00296},
year = {2023}
}
备注
accepted by AAAI 2023. The first two authors contribute equally