通过 Monarch 矩阵扩展概率电路
机器学习
2025-06-17 v1 机器学习
摘要
概率电路 (PCs) 是概率分布的可处理表示，允许精确且高效地计算似然和边缘概率。近期进展通过利用稀疏特性或使用张量化操作以获得更好的硬件利用率，提升了 PCs 的可扩展性。然而，现有方法均未同时充分利用这两个方面。本文提出了一种针对 PCs 中求和块的新颖稀疏且结构化的参数化方法。通过用稀疏 Monarch 矩阵替代稠密矩阵，我们显著降低了内存和计算成本，实现了 PCs 的前所未有的扩展。从理论角度看，我们的构造自然源于电路乘法；从实际角度看，与此前扩展可处理概率模型的努力相比，我们的方法不仅在 Text8、LM1B 和 ImageNet 等具有挑战性的基准上取得了最先进的生成建模性能，还展示了优越的扩展行为，以显著更少的训练浮点运算次数 (FLOPs) 达到了同等性能。
引用
@article{arxiv.2506.12383,
title = {Scaling Probabilistic Circuits via Monarch Matrices},
author = {Honghua Zhang and Meihua Dang and Benjie Wang and Stefano Ermon and Nanyun Peng and Guy Van den Broeck},
journal= {arXiv preprint arXiv:2506.12383},
year = {2025}
}