稀疏性与DAG约束在学习线性DAG中的作用
机器学习
2021-01-12 v3 机器学习
摘要
基于有向无环图（DAGs）学习图结构是一个具有挑战性的问题，部分原因在于可能图的搜索空间巨大。近期一系列工作利用最小二乘目标与DAG的代数刻画，将结构学习问题表述为连续约束优化任务。然而，该表述需要硬DAG约束，并可能导致优化困难。在本文中，我们研究了在线性高斯与非高斯情形下稀疏性与DAG约束对于学习DAG模型的渐近作用，并考察它们在有限样本区间中的效用。基于理论结果，我们构造了一个基于似然的得分函数，并表明只需施加软稀疏性与DAG约束即可学习与真实DAG等价的DAG。这导出了一个更易求解的无约束优化问题。利用基于梯度的优化与GPU加速，我们的过程可轻松处理数千个节点且保持高准确率。大量实验验证了我们所提方法的有效性，并表明带DAG惩罚的似然目标确实优于带硬DAG约束的最小二乘目标。
引用
@article{arxiv.2006.10201,
title = {On the Role of Sparsity and DAG Constraints for Learning Linear DAGs},
author = {Ignavier Ng and AmirEmad Ghassami and Kun Zhang},
journal= {arXiv preprint arXiv:2006.10201},
year = {2021}
}
备注
NeurIPS 2020. The code is available at https://github.com/ignavier/golem