最优因果推断：估计存储信息与近似因果架构

我们引入了一种推断随机动力系统因果架构的方法，该方法将率失真理论扩展至使用因果屏蔽——一种自然的学习原则。我们研究了因果推断的两种不同情况：最优因果滤波和最优因果估计。滤波对应于测量序列的概率分布已知的理想情况，提供了一种在所需表示层次上近似系统因果结构的原理性方法。我们表明，在放松模型复杂度约束的极限情况下，滤波能找到随机动力系统的精确因果架构，即因果态划分。由此，可以估计过程存储的历史信息量。更一般地，因果滤波能找到因果架构近似值的分级模型复杂度层次。作为近似函数的层次结构中的突变，捕捉了结构组织的不同尺度。对于数据有限的非理想情况，我们展示了如何通过最优因果估计找到底层因果态的正确数量。先前推导的模型复杂度控制项允许我们修正概率估计中统计波动的影响，从而避免过拟合。