交互式学习的信息论方法

统计力学和信息论的原理在学习中起着重要作用，并激发了理论研究和众多机器学习算法的设计。本文的新颖之处在于聚焦于整合来自学习者的反馈。提出了一种交互式学习和自适应行为的定量方法，将模型构建和决策制定整合到一个理论框架中。本文遵循简单的原则，要求观察者的世界模型和行动策略应在最小复杂度下产生最大的预测能力。从反映预测与复杂度之间权衡的目标函数中，推导出了最优行动策略类和最优模型类。由此产生的最优模型随后在不同抽象层次上总结了在学习者行动存在的情况下过程的因果组织。所提出原则的一个基本推论是，学习者的最优行动策略将探索与控制作为一种涌现属性进行平衡。有趣的是，探索性成分存在于策略随机性缺失的情况下，即存在于最优确定性行为中。这是在存在反馈的情况下要求最大预测能力的直接结果。