最大熵原理与不充分理由原则的因果版本
机器学习
2021-11-25 v2 机器学习
摘要
不充分理由原则（PIR）在随机试验的各备选方案之间无理由偏好其一之时，赋予各备选方案相等概率。最大熵原理（MaxEnt）将 PIR 推广至给定期望等统计信息的情况。已知这两个原则在因果联合分布的概率更新中会导致悖论。这是因为对条件概率 P(效应|原因) 的约束会改变 P(原因)，使那些能为效应提供更多选项的原因取值获得更高概率，仿佛表现出“有意行为”。早期工作因此建议依据因果顺序依次最大化（条件）熵，但除在玩具示例上的合理性外并无进一步依据。我们通过将约束分离为对原因的约束与对由原因生成效应的机制的约束，为 PIR 与 MaxEnt 的因果修正提供 justification。我们进一步勾勒出因果版 PIR 亦蕴含“信息几何因果推断”的原因。我们简要讨论了将因果版 MaxEnt 推广至任意因果 DAG 时所面临的问题。
引用
@article{arxiv.2102.03906,
title = {Causal versions of Maximum Entropy and Principle of Insufficient Reason},
author = {Dominik Janzing},
journal= {arXiv preprint arXiv:2102.03906},
year = {2021}
}
备注
16 pages