Chow-Liu++:以预测为中心的最优树状 Ising 模型学习
机器学习
2021-11-25 v3 数据结构与算法
信息论
math.IT
统计理论
统计理论
摘要
我们考虑从数据中学习树状结构化 Ising 模型的问题,使得随后利用该模型计算的预测是准确的。具体而言,我们旨在学习一个模型,使得对小变量集 的后验 是准确的。自 50 多年前提出以来,高效计算最大似然树的 Chow-Liu 算法一直是学习树状图模型的标准基准算法。[BK19] 中给出了 Chow-Liu 算法相对于以预测为中心的局部全变差损失的样本复杂度界。尽管这些结果证明即使无法恢复真实底层图也能学到有用模型,其界依赖于相互作用的最大强度,因而未达到信息论最优。本文中,我们引入一种新算法,审慎地将 Chow-Liu 算法的要素与树度量重构方法结合,以在以预测为中心的损失下高效且最优地学习树状 Ising 模型。我们的算法对模型误设与对抗污染具有鲁棒性。相反,我们表明著名的 Chow-Liu 算法可能任意次优。
引用
@article{arxiv.2106.03969,
title = {Chow-Liu++: Optimal Prediction-Centric Learning of Tree Ising Models},
author = {Enric Boix-Adsera and Guy Bresler and Frederic Koehler},
journal= {arXiv preprint arXiv:2106.03969},
year = {2021}
}
备注
49 pages, 3 figures, to appear in FOCS'21