基于高阶HSIC利用增量信息学习非参数DAG
机器学习
2023-09-15 v2 机器学习
摘要
基于分数的贝叶斯网络(BN)学习方法旨在最大化全局分数函数。然而，若局部变量同时存在直接与间接依赖，对分数函数的全局优化会遗漏具有间接依赖关系的变量之间的边，其分数小于具有直接依赖关系的变量。本文中，我们提出一种基于确定父节点子集的可识别性条件来识别底层DAG。根据该可识别性条件，我们开发了一种称为最优调优(OT)算法的两阶段算法，以在局部修正全局优化。在最优阶段，基于一阶希尔伯特-施密特独立性准则(HSIC)的优化问题给出估计骨架作为初始确定父节点子集。在调优阶段，利用理论证明的高阶HSIC增量性质，通过删除、添加和DAG形式化策略对骨架进行局部调优。针对不同合成数据集和真实世界数据集的数值实验表明，OT算法优于现有方法。特别是在图规模的Sigmoid Mix模型中，OT算法的结构干预距离(SID)比CAM所得小329.7，表明OT算法估计的图比CAM遗漏更少的边。OT算法的源代码可在https://github.com/YafeiannWang/optimal-tune-algorithm获取。
引用
@article{arxiv.2308.05969,
title = {Learning nonparametric DAGs with incremental information via high-order HSIC},
author = {Yafei Wang and Jianguo Liu},
journal= {arXiv preprint arXiv:2308.05969},
year = {2023}
}