贝叶斯超参数的非平凡信息闭包
机器学习
2020-10-06 v1 人工智能
摘要
我们研究了贝叶斯超参数在推断独立同分布有限随机变量的底层分布时的非平凡信息闭包（NTIC）。为此，我们将贝叶斯超参数更新过程与随机数据过程都嵌入到一个马尔可夫链中。Bertschinger 等人（2006）的 original 论文提到，NTIC 可能能够捕捉建模的抽象概念，该概念对建模过程中的特定内部结构以及显式表示的存在与否是不可知的。贝叶斯超参数令人感兴趣，因为它作为数据过程的模型具有明确定义的解释，同时其动力学可以在不参考该解释的情况下被指定。一方面，我们明确展示了超参数的 NTIC 随时间无限增长。另一方面，我们试图在作为模型解释特征的一个量（即信息增益）与不依赖于该解释的量（即单步逐点 NTIC）之间建立联系。我们发现，一般而言我们不能将单步逐点 NTIC 用作信息增益的指标。我们希望这项探索性工作能引发对 NTIC 与建模之间关系的进一步严格研究。
引用
@article{arxiv.2010.01855,
title = {Non-trivial informational closure of a Bayesian hyperparameter},
author = {Martin Biehl and Ryota Kanai},
journal= {arXiv preprint arXiv:2010.01855},
year = {2020}
}