Einsum网络：可处理概率电路的快速可扩展学习
机器学习
2025-10-29 v2 机器学习
摘要
概率电路（PCs）是一种有前景的概率建模途径，因为它们允许广泛的确切且高效的推断例程。最近的“深度学习风格”PCs 实现力求更好的可扩展性，但由于其稀疏连接的计算图，仍难以在真实世界数据上训练。在本文中，我们提出 Einsum 网络（EiNets），一种用于 PCs 的新颖实现设计，在若干方面改进了先前工作。在其核心，EiNets 将大量算术运算组合在单个整体 einsum 运算中，与先前的实现相比，带来了高达两个数量级的速度提升和内存节省。作为一项算法贡献，我们展示了通过利用自动微分，PCs 的期望最大化（EM）实现可以被简化。此外，我们证明了 EiNets 能很好地扩展到先前无法处理的数据集，如 SVHN 和 CelebA，并且它们可用作忠实的生成图像模型。
引用
@article{arxiv.2004.06231,
title = {Einsum Networks: Fast and Scalable Learning of Tractable Probabilistic Circuits},
author = {Robert Peharz and Steven Lang and Antonio Vergari and Karl Stelzner and Alejandro Molina and Martin Trapp and Guy Van den Broeck and Kristian Kersting and Zoubin Ghahramani},
journal= {arXiv preprint arXiv:2004.06231},
year = {2025}
}