Chow-Liu 算法对树结构分布的近最优学习

我们为经典的 Chow-Liu 算法（IEEE Trans.~Inform.~Theory, 1968）学习分布的树结构图模型提供了有限样本保证。对于 $\Sigma^n$ 上的分布 $P$ 和 $n$ 个节点上的树 $T$，若存在一个 $T$-结构分布 $Q$ 使得 $D(P\;||\;Q)$ 至多比 $P$ 的最佳可能树结构分布多 $\varepsilon$，则称 $T$ 是 $P$ 的一个 $\varepsilon$-近似树。我们证明若 $P$ 本身是树结构的，则使用互信息的插件估计器并以 $\widetilde{O}(|\Sigma|^3 n\varepsilon^{-1})$ 个 i.i.d.~样本，Chow-Liu 算法以常概率输出 $P$ 的一个 $\varepsilon$-近似树。相比之下，对于一般 $P$（可能非树结构），寻找 $\varepsilon$-近似树需要 $\Omega(n^2\varepsilon^{-2})$ 个样本。我们的上界基于一个新的条件独立性检验器，其解决了 Canonne、Diakonikolas、Kane 和 Stewart~(STOC, 2018) 提出的一个开放问题：我们证明对于三个均在 $\Sigma$ 上取值的随机变量 $X,Y,Z$，检验 $I(X; Y \mid Z)$ 为 $0$ 或 $\geq \varepsilon$ 可用 $\widetilde{O}(|\Sigma|^3/\varepsilon)$ 个样本完成。最后，我们证明对于特定树 $T$，从 $\Sigma^n$ 上分布 $P$ 取 $\widetilde{O} (|\Sigma|^2n\varepsilon^{-1})$ 个样本，可通过在每个节点应用加 1 估计器高效学习在 KL 散度下最接近的 $T$-结构分布。