渐近推断的热力学结构
信息论
2026-03-26 v3 math.IT
统计理论
数据分析、统计与概率
统计理论
摘要
发展渐近推断的热力学框架,其中样本大小和参数方差定义状态空间。在此描述下,香农信息发挥熵的作用,积分因子组织其变化为第一定律类型的平衡方程。该框架支持类似倒转第二定律的循环不等式,推导于均值估计。非平凡的第三定律型结果作为表示噪声设定熵的下界。最优推断路径、信息增益的全局界限以及自然的卡诺式信息效率均来自这一结构,其中效率基本受噪声底限限制。最后,de Bruijn 恒等式和高斯极限下的 I-MMSE 关系作为同一底层热力学结构的坐标投影。该框架表明集合物理和推断物理在统一的热力学描述中演化为相反方向的阴影过程。
引用
@article{arxiv.2602.22605,
title = {A Thermodynamic Structure of Asymptotic Inference},
author = {Willy Wong},
journal= {arXiv preprint arXiv:2602.22605},
year = {2026}
}
备注
31 pages, 1 figure. This version reworks the paper around observation variance and clarifies the unification of de Bruijn and I-MMSE identities