通过量子退火对玻尔兹曼机进行生成式与判别式训练
量子物理
2022-07-21 v3 机器学习
摘要
提出了一种用于学习玻尔兹曼机(BM)以完成生成式与判别式任务的量子-经典混合方法。玻尔兹曼机是具有可见节点与隐藏节点网络的无向图,前者用作读取位点,后者用于操纵可见状态的概率。在生成式 BM 中,可见数据的样本模仿给定数据集的概率分布。相反,判别式 BM 的可见位点被视为输入/输出(I/O)读取位点,其中对于给定的输入状态集,输出状态的条件概率被优化。学习 BM 的代价函数定义为 Kullback-Leibler(KL)散度与负条件对数似然(NCLL)的加权和,通过超参数调节。此处,KL 散度是生成式学习的代价,NCLL 是判别式学习的代价。给出了一种随机牛顿-拉夫逊优化方案。梯度与 Hessian 通过使用量子退火(QA)获得的 BM 直接样本来近似。量子退火器是表示伊辛模型物理的硬件,工作于低温但有限温度。该温度影响 BM 的概率分布;然而其数值未知。先前的工作集中于通过对采样状态的理论玻尔兹曼能量与实际硬件采样状态的概率进行回归来估计此未知温度。这假设控制参数变化不影响系统温度,然而通常并非如此。相反,提出了一种作用于样本概率分布而非能量的方法,来估计最优参数集。这确保了最优集可从单次运行中获得。
引用
@article{arxiv.2002.00792,
title = {Generative and discriminative training of Boltzmann machine through Quantum annealing},
author = {Siddhartha Srivastava and Veera Sundararaghavan},
journal= {arXiv preprint arXiv:2002.00792},
year = {2022}
}