贝叶斯网络高效可扩展结构学习：算法与应用
机器学习
2020-12-08 v1 人工智能
数据库
摘要
贝叶斯网络（BN）的结构学习是一个重要且被广泛研究的问题。它在阿里巴巴集团的各种应用中扮演核心角色。然而，现有结构学习算法因效率低和可扩展性差，在真实世界应用中存在显著局限。为此，我们提出一种新的结构学习算法 LEAST，它全面满足我们的业务需求，同时具备高准确率、高效率和高可扩展性。LEAST 的核心思想是将结构学习表述为连续约束优化问题，并设计新颖的可微约束函数度量所得图的无环性。与现有工作不同，我们的约束函数基于图的谱半径构建，可关于图节点规模在近线性时间内求值。基于此，LEAST 能以低存储开销高效实现。基准评估显示，LEAST 比最优方法快 1 到 2 个数量级且精度相当，并能扩展到具有数十万变量的 BN。在生产环境中，LEAST 已部署并服务于每日数千次执行的 20 多个应用。我们描述了阿里巴巴票务预订服务中的一个具体场景，其中 LEAST 被用于构建近实时自动异常检测与根因分析系统。我们还展示 LEAST 开启了 BN 结构学习在新领域应用的可能，如大规模基因表达数据分析和可解释推荐系统。
引用
@article{arxiv.2012.03540,
title = {Efficient and Scalable Structure Learning for Bayesian Networks: Algorithms and Applications},
author = {Rong Zhu and Andreas Pfadler and Ziniu Wu and Yuxing Han and Xiaoke Yang and Feng Ye and Zhenping Qian and Jingren Zhou and Bin Cui},
journal= {arXiv preprint arXiv:2012.03540},
year = {2020}
}