概率电路的可计算锐度感知学习
机器学习
2025-08-08 v1 人工智能
摘要
概率电路（Probabilistic Circuits，PCs）是一类生成模型，能够对广泛范围的查询实现精确且可计算的推断。尽管近期的发展使得能够学习深层且具表达力的 PC，但这种增强的容量往往会导致过拟合，尤其是在数据有限时更为如此。我们从对数似然景观角度分析 PC 的过拟合问题，指出其常常源于收敛至锐利最优点，这些最优点泛化能力较差。致力于此，我们引入基于 Hessian 的正则化项用于训练 PC。作为关键贡献，我们展示了 PC 对数似然 Hessian 迹——这一锐度代理因素在深度神经网络中通常难以计算——可被高效计算。最小化该 Hessian 迹可诱导基于梯度范数的正则化，从而为 EM 算法提供简洁的闭式参数更新，并能无缝集成到基于梯度的学习方法中。在合成数据和真实数据集上的实验表明，我们的方法能够稳定引导 PC 向更平坦的最小值移动，提高了泛化性能。
引用
@article{arxiv.2508.05537,
title = {Tractable Sharpness-Aware Learning of Probabilistic Circuits},
author = {Hrithik Suresh and Sahil Sidheekh and Vishnu Shreeram M. P and Sriraam Natarajan and Narayanan C. Krishnan},
journal= {arXiv preprint arXiv:2508.05537},
year = {2025}
}