相对熵与归纳推理
数据分析、统计与概率
2009-11-10 v1 综合物理
摘要
我们讨论了最大熵方法(MaxEnt)如何能够超越其最初作为分配概率分布规则的范畴,扩展为一种成熟的归纳推理方法。核心概念是(相对)熵 S[p|q],它被设计为一种工具,用于在以约束形式出现的新信息可用时,从先验概率分布 q 更新到后验概率分布 p。该扩展方法不仅限于选取单一后验 p,还探讨了其他分布概率可能低多少的问题。我们的方法阐明了如何使用熵 S[p|q],同时回避了其意义为何的问题。归根结底,熵是一种无需解释即可用于归纳的工具。最后,作为从特殊样本进行泛化的工具,我们探究熵的函数形式是否依赖于样本的选择,发现确实如此。结论是:不存在单一的通用归纳推理理论,熵的替代表达形式是可能的。
引用
@article{arxiv.physics/0311093,
title = {Relative Entropy and Inductive Inference},
author = {Ariel Caticha},
journal= {arXiv preprint arXiv:physics/0311093},
year = {2009}
}
备注
Presented at MaxEnt23, the 23rd International Workshop on Bayesian Inference and Maximum Entropy Methods (August 3-8, 2003, Jackson Hole, WY, USA)