和积注意力网络：在概率电路中利用自注意力
机器学习
2021-09-15 v1
摘要
概率电路（PCs）已成为概率建模中学习与推断的事实标准。我们引入和积注意力网络（SPAN），一种将概率电路与 Transformers 集成的新生成模型。SPAN 利用自注意力选择概率电路（此处为和积网络）中最相关的部分，以提升底层和积网络的建模能力。我们表明，在建模时，SPAN 在和积网络的每一乘积层中聚焦于一组特定的独立假设。我们的实证评估显示，SPAN 在各种基准数据集上优于最先进的概率生成模型，并且是一种高效的生成图像模型。
引用
@article{arxiv.2109.06587,
title = {Sum-Product-Attention Networks: Leveraging Self-Attention in Probabilistic Circuits},
author = {Zhongjie Yu and Devendra Singh Dhami and Kristian Kersting},
journal= {arXiv preprint arXiv:2109.06587},
year = {2021}
}