通过辅助变量局部探索学习离散基于能量的模型
机器学习
2020-11-12 v1
摘要
离散结构在程序语言建模和软件工程等应用中起着重要作用。当前预测复杂结构的方法通常考虑自回归模型以求得可处理性，但在灵活性上有所牺牲。另一方面，基于能量的模型（EBMs）为建模此类分布提供了更灵活因而更强大的方法，但需要配分函数估计。本文提出ALOE，一种用于离散结构化数据的条件与非条件EBM学习的新算法，其中参数梯度通过使用模仿局部搜索的学习采样器来估计。我们展示了能量函数和采样器可通过一种新的幂迭代变分形式高效训练，在灵活性与可处理性之间实现更好的权衡。在实验上，我们展示了学习局部搜索在具有挑战性的应用领域带来显著改进。最值得注意的是，我们提出了一种用于软件测试的能量模型引导模糊器，其性能可与libfuzzer等精心设计的模糊测试引擎相媲美。
引用
@article{arxiv.2011.05363,
title = {Learning Discrete Energy-based Models via Auxiliary-variable Local Exploration},
author = {Hanjun Dai and Rishabh Singh and Bo Dai and Charles Sutton and Dale Schuurmans},
journal= {arXiv preprint arXiv:2011.05363},
year = {2020}
}
备注
NeurIPS 2020