因果熵与信息增益的基本性质
机器学习
2024-02-20 v2 信息论
math.IT
机器学习
摘要
近期的发展使得在给定结构因果模型（SCM）的情况下量化因果控制成为可能。这是通过引入一些量来实现的，这些量编码了干预一个变量时另一个变量熵的变化。这些被称为因果熵和因果信息增益的度量，旨在解决现有信息论方法在因果性起关键作用的机器学习任务中的局限性。它们尚未得到适当的数学研究。我们的研究通过建立和分析这些概念的基本性质（包括界和链式法则），促进了对因果熵和因果信息增益概念的形式化理解。此外，我们阐明了因果熵与随机干预之间的关系。我们还提出了因果条件熵和因果条件信息增益的定义。总体而言，这项探索通过研究最近提出的、基于因果性考虑的信息论量，为增强因果机器学习任务铺平了道路。
引用
@article{arxiv.2402.01341,
title = {Fundamental Properties of Causal Entropy and Information Gain},
author = {Francisco N. F. Q. Simoes and Mehdi Dastani and Thijs van Ommen},
journal= {arXiv preprint arXiv:2402.01341},
year = {2024}
}
备注
In Proceedings of the conference CLeaR (Causal Learning and Reasoning) 2024