论异构结构学习中的 $\ell_1$ 惩罚及其局限性
机器学习
2024-10-25 v1 机器学习
摘要
最近的可微结构学习研究将学习有向无环图的组合问题建模为连续优化问题。已研究了包括数据标准化在内的诸多方面，以识别影响这些方法实证性能的因素。本文聚焦于可微结构学习方法的关键局限性，特别是在真实结构可被识别为马尔可夫等价类的情形下，尤其是线性高斯情形。虽然Ng等人（2024）已指出此情境下的潜在非凸性问题，但我们展示即使能够找到优化问题的全局最优解，-惩罚似然函数在此情境下本质上是不一致的。为解决这一局限性，我们开发了一种基于-惩罚似然函数并采用硬性无环约束的混合可微结构学习方法，其中惩罚可通过包括Gumbel-Softmax在内的不同技术进行近似。具体而言，我们首先估计底层道德图，并利用其限制优化问题的搜索空间，以帮助缓解非凸性问题。实验结果表明，所提方法在数据标准化前后均提升了实证性能，为可微结构学习的未来发展，特别是学习马尔可夫等价类，提供了更可靠的路径。
引用
@article{arxiv.2410.18396,
title = {Revisiting Differentiable Structure Learning: Inconsistency of $\ell_1$ Penalty and Beyond},
author = {Kaifeng Jin and Ignavier Ng and Kun Zhang and Biwei Huang},
journal= {arXiv preprint arXiv:2410.18396},
year = {2024}
}