无畏的 DAG：细看用于学习贝叶斯网络的连续优化
机器学习
2020-10-20 v1 机器学习
摘要
本文重新审视了一种称为 NOTEARS 的用于学习贝叶斯网络的连续优化框架。我们首先将现有的无环性的代数刻画推广到一类矩阵多项式。接下来，聚焦于每条边一个参数的设定，表明 NOTEARS 公式的 Karush-Kuhn-Tucker（KKT）最优性条件除平凡情形外无法满足，这解释了相关算法的一种行为。然后我们推导出一个等价重构的 KKT 条件，证明它们确实是必要的，并将它们与某些边在图中必须缺失的显式约束联系起来。若评分函数是凸的，尽管约束非凸，这些 KKT 条件对局部极小性也是充分的。受 KKT 条件启发，提出了一种局部搜索后处理算法，并证明其在所有测试算法上大幅且普遍地改善了结构汉明距离，通常达 2 倍或更多。某些与局部搜索的组合比原始 NOTEARS 更准确且更高效。
引用
@article{arxiv.2010.09133,
title = {DAGs with No Fears: A Closer Look at Continuous Optimization for Learning Bayesian Networks},
author = {Dennis Wei and Tian Gao and Yue Yu},
journal= {arXiv preprint arXiv:2010.09133},
year = {2020}
}
备注
40 pages, 8 figures, to appear at the 34th Conference on Neural Information Processing Systems (NeurIPS 2020)