学习非马尔可夫行为的根本极限：Fisher 信息率与超额信息
机器学习
2023-10-09 v1 统计理论
数据分析、统计与概率
统计理论
摘要
我们探讨了从时间序列数据学习任意随机过程未知参数的根本极限，并发现了最优推断随观测长度缩放的精确闭式表达式。给定参数化候选模型类，观测序列概率的 Fisher 信息从有限数据模型估计的方差下界。随着序列长度增加，最小方差按长度平方反比缩放——其常数系数由信息率给出。我们发现该信息率的一个简单闭式表达式，即便在无限马尔可夫阶情形下亦成立。我们进一步从观测诱导的信念状态间元动力学得到模型方差的精确解析下界。我们发现了收敛到渐近信息率的瞬态、指数及更一般模式。令人惊讶的是，该短视信息率收敛到渐近 Fisher 信息率的弛豫时间尺度，与短视熵率收敛到过程 Shannon 熵率所出现的完全相同。我们用一系列例子阐明这些结果，突出塑造最优学习的随机过程定性不同特征。
引用
@article{arxiv.2310.03968,
title = {Ultimate limit on learning non-Markovian behavior: Fisher information rate and excess information},
author = {Paul M. Riechers},
journal= {arXiv preprint arXiv:2310.03968},
year = {2023}
}