论用可处理概率模型近似分布的困难性

概率建模中的一个基本挑战是平衡表达能力与推理效率。可处理概率模型(TPM)旨在通过施加约束来直接应对这一权衡，这些约束保证了特定查询的高效推理，同时保持了表达能力。特别地，概率电路为许多 TPM 提供了统一框架，通过将模型族刻画为满足不同结构性质的电路。由于在 PC 上的推理复杂度是电路规模的函数，理解不同 PC 族的规模要求是刻画可处理性与表达效率之间权衡的基础。然而，对电路表达效率的研究通常关注精确表示，这可能与模型学习不一致，因为在模型学习中我们希望通过某种距离度量来紧密逼近底层数据分布。此外，由于推理任务的困难性，在支持可处理推理的同时精确表示分布通常会导致指数级的规模膨胀。本文考虑了一个自然但迄今鲜有探讨的问题：能否通过允许较小的近似误差来避免这种规模膨胀？我们研究了用概率电路近似分布，并给出了基于 $f$-散度的保证，同时分析了在此框架下哪些推理查询仍能被良好近似。我们证明，对于任何能可处理地计算边缘分布的模型，以有界 $f$-散度近似任意分布是 $\mathsf{NP}$-hard 的。此外，我们证明了可分解 PC 类与可分解且确定性 PC 类之间在近似方面存在指数级规模差距。